JP5229148B2 - 撮像素子、撮像装置、信号処理方法及びプログラム - Google Patents

Description

本発明は、例えば、撮像素子の出力信号に重畳されるノイズ成分を取り除く場合に適用して好適な撮像素子、撮像装置、信号処理方法及びプログラムに関する。

従来、固体撮像素子が出力する画像信号に重畳されるノイズ成分（特に、暗電流ノイズやカラム、ラインに特化された低周波、固定パターンのノイズ）を補正するため、様々な技術が提案されている。例えば、オプティカルブラック画素（以下、「ＯＢ画素」と称する。）や、画素の有無に関係なく、ＡＤ変換によってのみ生成される擬似的な画像信号を出力するダミー画素を用いたノイズ補正の技術がある。これらの画素が出力する画像信号は、被写体の像光が入射しアナログ画像信号（以下、後述するデジタル画像信号と共に、「画像信号」と略称する場合がある。）を生成する有効画素と同様に１画素ずつ読み出される。そして、固体撮像素子が出力した画像信号を処理する信号処理装置は、カラム、ライン、ＯＢ画素領域の全面などのエリア単位で画像信号の信号レベルの平均値を算出し、この平均値を、ノイズ補正値として用いてノイズ補正を行っていた。

ここで、ノイズ補正値は、あくまで平均値として用いるにすぎないため、従来、ＯＢ画素やダミー画素が出力する画像信号を転送するために特別な処理を行っていなかった。
しかし、近年、撮像装置が処理する画素数が多くなり、かつ高フレームレート化したことにより画像信号の転送帯域が高くなってきた。このため、従来の信号処理装置の構成としたまま、画像信号の転送帯域を高帯域化すると消費電力が増してしまう。

ここで、従来の撮像装置１００の構成例について説明する。
図１６は、従来の撮像装置１００の内部構成例を示すブロック図である。
撮像装置１００は、デジタル画像信号を出力する固体撮像素子１０１と、固体撮像素子１０１から受け取ったデジタル画像信号に所定の補正処理を施す信号処理装置１０５と、を備える。

固体撮像素子１０１は、不図示のレンズを介して入射した被写体の像光より、アナログ画像信号を出力する画素部１０２を備える。また、固体撮像素子１０１は、画素部１０２から受け取ったアナログ画像信号をデジタル画像信号に変換するアナログ／デジタル変換部１０３と、デジタル画像信号に所定の処理を施すデジタル処理部１０４と、を備える。

一方、信号処理装置１０５は、デジタル画像信号に重畳するノイズを補正するノイズ補正部１０６を備える。ノイズ補正部１０６は、固体撮像素子１０１から入力されたデジタル画像信号の出力を所定時間だけ遅らせる遅延部１０７と、単位時間におけるデジタル画像信号のレベルの平均値を算出する平均値算出部１１０と、を備える。また、ノイズ補正部１０６は、遅延部１０７と平均値算出部１１０から入力されたデジタル画像信号に対して所定の補正を行う補正部１０８を備える。

ここで、平均値算出部１１０は、固体撮像素子１０１が出力したデジタル画像信号の信号レベルを、所定の回数だけ加算する加算部１１１と、加算部１１１が加算した回数を計測するカウンタ１１２と、を備える。また、平均値算出部１１０は、加算部１１１が加算したデジタル画像信号の信号レベルを、カウンタ１１２が計測した加算回数で除する除算部１１３を備える。除算部１１３の出力は平均値として、平均値算出部１１０から補正部１０８に入力される。そして、補正部１０８は、遅延部１０７から入力されたデジタル画像信号から、平均値算出部１１０から入力された平均値を減ずることにより、デジタル画像信号のノイズ補正を行っている。

図１７は、固体撮像素子１０１の画素領域の例を示す。
固体撮像素子１０１は、水平方向が２１６０ワード、垂直方向が１１６０ワードである、２１６０×１１６０ワードに相当する数の画素部１０２及びアナログ／デジタル変換部１０３から成る。ここで、入射した像光に応じてアナログ画像信号を出力する領域を有効画素領域１２１とする。そして、有効画素領域１２１の周囲の遮光領域に配置され、像光が入射しないため、像光に関係なくアナログ画像信号を出力する領域をオプティカルブラック（以下、「ＯＢ」と略称する。）画素領域１２２とする。ＯＢ画素領域１２２に配置された画素部１０２が出力する画像信号は、有効画素領域１２１が出力する画像信号に重畳するノイズ成分等を除去するために用いられる。

さらに、ＯＢ画素領域１２２の周囲に配置され、擬似的なアナログ画像信号を出力する領域をダミー画素領域１２３とする。ダミー画素領域１２３は、画素部１０２を持たずＡ／Ｄ変換部１０３のみを持つことで、画素以外のアナログ的な特性を検出するために用いられる領域である。そして、ダミー画素領域１２３は、例えば、カラムＡ／Ｄ構造ならば、１ラインの画素数分に相当するＡ／Ｄ変換部１０３を持つ。このため、有効画素領域１２１の左右には画素数分（左右共に４０画素分）のＡ／Ｄ変換部１０３のみを物理的にもち、画素を持つ有効画素領域１２１と同様に画像信号が読み出される。また、有効画素領域１２１の上下に存在する画素を切り離した上で、上下共に４０ライン分の画像信号繰り返し読み出しており、このことは、上下左右の画素領域より４０画素分のダミー画素から画像信号を読み出すことに相当する。

ここで、図１７に示す各画素領域は、物理的な画素配列ではなく、画像信号の転送イメージである。すなわち、有効画素領域１２１は、２０００×１０００ワードの領域を占め、ＯＢ画素領域１２２は、有効画素領域１２１の周囲の上下左右に４０ワードずつの領域を占める転送イメージを表す。さらに、ダミー画素領域１２３は、物理的には左右に４０ワードずつ存在し、有効画素領域１２１の上下には存在しない。しかし、転送イメージとしたときに、ダミー画素領域１２３の上下左右から４０ワードずつ画像信号の読み出しを行うこととなる。そして、従来の固体撮像素子１０１は、２１６０×１１６０＝２，５０５，６００ワードからなるアナログ画像信号によって形成される画素データを、水平方向の１本の水平ライン毎（２１６０ワード毎）に信号処理装置１０５へ転送している。

ここで、画像出力を垂直方向にライン毎に注目すると、以下のように表される。
ただし、表記を簡略化するため、各画素領域から出力される画像信号のワード数を、それぞれ「画素領域の名称」と「ワード数」を組み合わせて示している。
１〜 ４０ライン：ダミー２１６０ワード
４１〜 ８０ライン：ダミー４０ワード，ＯＰＢ２０８０ワード、ダミー４０ワード
８１〜１０８０ライン：ダミー４０ワード，ＯＰＢ４０ワード、有効２００ワード、ＯＰＢ４０ワード、ダミー４０ワード
１０８１〜１１２０ライン：ダミー４０ワード，ＯＰＢ２０８０ワード、ダミー４０ワード
１１２１〜１１６０ライン：ダミー２１６０ワード
以下の説明においては、ライン毎に出力された画像信号の補正を例に挙げるが、カラム毎に出力された画像信号の補正も行っている。カラム毎に補正を行う場合は、１カラム毎のデータが必要となる。

図１８は、従来の撮像装置１００がダミー画素を用いて行う、画素データのノイズ検波と補正処理の例を示す。
ここでは、図１７に示した固体撮像素子１０１の領域１２４を拡大視して説明する。
水平ライン１２５には、有効画素領域１２１、ＯＢ画素領域１２２、及びダミー画素領域１２３から出力されるアナログ画像信号が含まれる。
信号処理装置１０５が備える加算部１１１は、ダミー画素領域１２３から出力され、変換されたデジタル画像信号を所定の回数で加算し、除算部１１３は、カウンタ１１２が計数した加算回数を用いて、加算結果を除算することにより平均値を算出する。そして、補正部１０８は、同一の水平ライン上における有効画素領域１２１から出力されるアナログ画像信号を変換したデジタル画像信号に対して、この平均値を減ずる等の処理を行うことでノイズ補正を行っている。

図１９は、固体撮像素子１０１が出力する画素データに含まれる、１本の水平ライン１２５の画素データの転送イメージの例を示す。
固体撮像素子１０１が信号処理装置１０５に出力する画像信号の水平ライン１２５は以下のように構成される。すなわち、水平ライン１２５に含まれる１つの画素部１０２が出力するアナログ画像信号からなる画素データのデータ長は、１２ビット幅であり、ｕ１０．２で表される。このため、ダミー画素領域１２３が出力するアナログ画像信号と、ＯＢ画素領域１２２，有効画素領域１２１に含まれる画素部１０２が出力する１画素毎のアナログ画像信号は、それぞれ１画素毎にｕ１０．２で表される。ここで、「ｕ１０．２」の表記は、「ｕ」はｕｎｓｉｇｎｅｄ（符号なし）、「１０．２」は整数部が１０ビットであり、小数部が２ビットであることを意味しており、以下の説明には、この表記を用いる。

図１９より、水平ライン１２５には、４０ワードのダミー画素領域１２３、４０ワードのＯＢ画素領域１２２、及び２０００ワードの有効画素領域１２１から出力されたアナログ画像信号が含まれることが示される。ただし、図１９の説明では、領域１２４のみ注目している。実際には、有効画素領域１２１の右側に位置する４０ワードのＯＢ画素領域１２２と、４０ワードのダミー画素領域１２３が出力する画素データも含まれる。

ここで、特許文献１には、オプティカルブラック部やダミー画素部から読み出したデータを用いてデータ補正を行う技術が開示されている。

また、特許文献２には、感度設定に応じてクランプの基準となる参照信号を制御し、低輝度部分に見られる、ノイズクリップによって生じる色回りなどを軽減する技術が開示されている。

また、特許文献３には、有効ピクセルの値からダミーピクセルの値を差し引くことによって、電源ノイズ等の影響を取り除く技術が開示されている。

特開２００７−２３５８８９号公報 特開２００７−２４３６３７号公報 特開２００８−２０６００３号公報

ところで、従来の固体撮像素子１０１は、例えば１フレームが６４０×４８０ワードからなる画素データを、毎秒３０フレームずつ転送する程度であったため、固体撮像素子１０１から信号処理装置１０５に画像信号を転送する時間に余裕があった。しかし、近年は、例えば、１フレームが１９２０×１０８０ワード、かつ、毎秒６０フレームのデータ量を転送する必要があり、必要とされる転送帯域が莫大に増えている。転送帯域の増加は、消費電力の増大等の要因となるため、少しでも転送帯域を削減する必要性が高まっている。しかし、１本の水平ラインには、有効画素領域１２１、ＯＢ画素領域１２２及びダミー画素領域１２３から出力される、全ての画素数分の画像信号を転送するための時間が必要となる。このため、固体撮像素子１０１から信号処理装置１０５に画素データを転送するフレームレートを高くすることができなかった。

また、ＯＢ画素は、発生場所が固定される画素欠陥や、発生場所が不定であるインパルス雑音を含むことも多い（以下、これらをまとめて「欠陥」と呼ぶ。）。そして、画素欠陥が生じた画素は、異常な信号レベルの画像信号を出力してしまう。例えば、一面が真黒の被写体を撮影した場合であっても、画素欠陥が生じた部分だけ白点として映る等の異常出力が発生する。この場合、物理的な画素を補正するのではなく、画素欠陥が生じた画素が出力したデジタル画像信号の信号レベルを補正する処理が行われる。しかし、単純にデジタル画像信号を加算すると、異常な信号レベルの画像信号の影響により、得られた加算データが欠陥を含んでしまう。このような加算データから補正値を求めて画素データを補正しても、この画素データが誤った値となり、補正後の画素データに含まれるデジタル画像信号を用いて表示される画像の画質劣化を招いてしまう。また、一度でも加算データを生成すると、画素欠陥が生じた画素が出力した画像信号が、加算データのどこに影響しているかを判断することは困難であった。

さらに、高画質の画像を得るために、デジタル画像信号に重畳されるノイズ成分を補正するには、小数点以下のビット精度を高めなければならないが、この処理にはより多くのデジタル画像信号を加算する必要がある。しかし、特許文献１に記載された技術の様に加算して得られる画素データを１画素分の語長に制限すると、加算数は、１画素分の語長から溢れない程度にしかとれない。この場合、精度の荒いノイズ補正しかできず、このことが画質劣化の原因となる事も多い。

本発明はこのような状況に鑑みて成されたものであり、撮像素子が出力するデータの転送帯域を削減することを目的とする。

本発明に係る画素部は、入射した像光を光電変換して第１のデジタル信号が生成される有効画素領域、有効画素領域の周囲の遮光領域に配置され、第２のデジタル信号が生成されるオプティカルブラック画素領域を有する。また、画素部は、オプティカルブラック画素領域の周囲に配置され、第３のデジタル信号が生成されるダミー画素領域と、を有する。
次に、画素部から得られた第１〜第３のデジタル信号からなる画素データに対して所定の処理を施し、処理された第２及び第３のデジタル信号からなる画素データ、又は第３のデジタル信号からなる画素データのいずれかを、所定の加算回数だけ加算する。
次に、加算された第３のデジタル信号からなる画素データを加算回数によって除して得られる平均値の画素データをマルチプレクサに出力し、処理された第１〜第３のデジタル信号からなる画素データの出力を所定のタイミングで遅らせる。
そして、処理された第１〜第３のデジタル信号からなる画素データ、又は平均値の画素データのうち、いずれかの画素データを選択して出力するものである。

このようにしたことで、画素部が画素データを出力するために要する時間を短縮することが可能となった。

本発明によれば、第２及び第３のデジタル信号、又は前記第３のデジタル信号のいずれかを、所定の加算回数だけ加算する。そして、この加算されたデジタル信号のいずれかを加算回数で除することによって、デジタル信号の信号レベルの平均値を求め、この平均値を出力する。このため、画素部が出力する画素データのデータ量を少なくすることができ、必要な転送帯域を削減できる。これにより、撮像素子及び撮像装置の消費電力を抑えることができるという効果がある。

本発明の第１の実施の形態における撮像装置の内部構成例を示すブロック図である。 本発明の第１の実施の形態における固体撮像素子の画素領域の例を示す説明図である。 本発明の第１の実施の形態における撮像装置が行う、画素データのノイズ検波と、デジタル画像信号の補正処理の例を示す説明図である。 本発明の第１の実施の形態における固体撮像素子が出力する画素データのフォーマットの例を示す説明図である。 本発明の第１の実施の形態における固体撮像素子が出力する画素データの水平ラインにおける転送イメージの例を示す説明図である。 本発明の第１の実施の形態における撮像装置の他の内部構成例を示すブロック図である。 本発明の第２の実施の形態における撮像装置の内部構成例を示すブロック図である。 本発明の第２の実施の形態における固体撮像素子が出力する水平ラインにおける画素データの転送イメージの例を示す説明図である。 本発明の第３の実施の形態における撮像装置の内部構成例を示すブロック図である。 本発明の第３の実施の形態における撮像装置が行う、画素データのノイズ検波と、デジタル画像信号の補正処理の例を示す説明図である。 本発明の第３の実施の形態における固体撮像素子が出力する画素データの水平ラインの転送イメージの例を示す説明図である。 本発明の第３の実施の形態における撮像装置の他の内部構成例を示すブロック図である。 本発明の第３の実施の形態における他の固体撮像素子が出力する水平ラインにおける画素データの転送イメージの例を示す説明図である。 本発明の第４の実施の形態における撮像装置の内部構成例を示すブロック図である。 本発明の第４の実施の形態における固体撮像素子が出力する水平ラインにおける画素データの転送イメージの例を示す説明図である。 従来の撮像装置の内部構成例を示すブロック図である。 従来の固体撮像素子の画素領域の例を示す説明図である。 従来の撮像装置が行う、画素データのノイズ検波とデジタル画像信号の補正処理の例を示す説明図である。 従来の固体撮像素子が出力する水平ラインにおける画素データの転送イメージの例を示す説明図である。

以下、発明を実施するための最良の形態（以下実施の形態とする。）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（ダミー画素の加算データが含まれる画素データを伝送する例）
２．第２の実施の形態（ダミー画素の加算データをＭＳＢとＬＳＢに分割した画素データを伝送する例）
３．第３の実施の形態（ダミー画素の平均値が含まれる画素データを伝送する例）
４．第４の実施の形態（ダミー画素と、欠陥が補正されたＯＢ画素の平均値が含まれる画素データを伝送する例）
５．変形例

＜１．第１の実施の形態＞
［ダミー画素の加算データが含まれる画素データを伝送する例］

以下、本発明の第１の実施形態について、図１〜図５を参照して説明する。本実施の形態では、１本の水平ライン毎に画像信号を読み出して、所定の処理を行う撮像装置１に適用した例について説明する。なお、以下の各処理ブロックで行う一連の処理を、画像信号の処理方法として用いることができる。

図１は、本例の撮像装置１の内部構成例を示すブロック図である。
撮像装置１は、デジタル画像信号を出力する固体撮像素子２と、固体撮像素子２から受け取ったデジタル画像信号に所定の補正処理を施す信号処理装置３と、を備える。

固体撮像素子２は、不図示のレンズを介して入射した被写体の像光より、アナログ画像信号を出力する画素部２１を備える。また、固体撮像素子２は、画素部２１から受け取ったアナログ画像信号をデジタル画像信号に変換するアナログ／デジタル変換部２２と、デジタル画像信号に所定のデジタル処理を施すデジタル処理部２３と、を備える。

また、固体撮像素子２は、デジタル処理部２３から入力した後述する第１〜第３のデジタル信号の出力を所定のタイミングだけ遅らせる遅延部２４を備える。また、固体撮像素子２は、予めパラメータとして定めた加算回数でデジタル画像信号を加算する加算部２５と、遅延部２４又は加算部２５から入力するデジタル画像信号を、所定の選択タイミングで選択するマルチプレクサ２６と、を備える。

デジタル処理部２３は、デジタル画像信号に対してオフセット加算処理等のデジタル処理を行う。加算部２５は、デジタル処理部２３によって処理された後述する第２及び第３のデジタル信号からなる画素データ、又は第３のデジタル信号からなる画素データのいずれかを、所定の加算回数だけ加算する。
そして、マルチプレクサ２６は、デジタル処理部２３によって処理された第１〜第３のデジタル信号からなる画素データ、又は加算部２５によって加算された第３のデジタル信号からなる画素データのうち、いずれかの画素データを選択して出力する。つまり、マルチプレクサ２６が選択したデジタル画像信号は、固体撮像素子２から信号処理装置３に転送される。

信号処理装置３は、デジタル画像信号に重畳するノイズを補正するノイズ補正部３１を備える。ノイズ補正部３１は、固体撮像素子２から入力されたデジタル画像信号の出力を所定時間だけ遅らせる遅延部３２を備える。また、ノイズ補正部３１は、単位時間におけるデジタル画像信号のレベルの平均値を算出する平均値算出部３３を備える。

遅延部３２は、固体撮像素子２から受け取った第１〜第３のデジタル信号からなる画素データの出力を所定のタイミングで遅らせる。
平均値算出部３３は、固体撮像素子２から受け取った加算された第３のデジタル信号からなる画素データを、加算回数で除して第３のデジタル信号からなる画素データのレベルの平均値を求める。このため、平均値算出部３３は、予めパラメータとして定めた加算回数に基づいて、固体撮像素子２から入力されたデジタル画像信号を除算する除算部３４を備える。また、ノイズ補正部３１は、遅延部３２から出力された第１〜第３のデジタル信号からなる画素データのレベルから、平均値を減じて、第１〜第３のデジタル信号からなる画素データのレベルを補正する補正部３５を備える。

本例における遅延部２４とマルチプレクサ２６は、デジタル処理部２３が出力する未処理の画素データと、加算部２５が加算した画素データとの位相を合わせるために用いられる。また、遅延部２４とマルチプレクサ２６は、従来の固体撮像素子１０１の出力イメージ（図１７参照）から、本例の固体撮像素子２の出力イメージ（後述する図２参照）に変換するために用いられる。

図２は、固体撮像素子２の画素領域の例を示す。
本例の固体撮像素子２は、水平方向が２０８４ワード、垂直方向が１０８４ワードである、２０８４×１０８４ワードに相当する数の画素部２１から成る。ここで、入射した像光を光電変換してアナログ画像信号を出力する領域を有効画素領域４１とする。そして、有効画素領域４１の周囲の遮光領域に配置され、像光が入射しないため、像光に関係なくアナログ画像信号を出力する領域をＯＢ画素領域４２とする。ＯＢ画素領域４２に配置された画素部２１が出力する画像信号は、有効画素領域４１が出力する画像信号に重畳するノイズ成分等を除去するために用いられる。

さらに、ＯＢ画素領域４２の周囲に配置され、擬似的なアナログ画像信号を出力する領域をダミー画素領域４３とする。ただし、ダミー画素領域４３は、固体撮像素子２における計算の結果求められる仮想的な領域である。
本例の撮像装置１は、アナログ／デジタル変換部２２とデジタル処理部２３を介して所定の処理が行われたデジタル画像信号を用いて、有効画素領域４１から得られるデジタル画像信号の補正を行う。以下、有効画素領域４１が出力したアナログ画像信号から生成されるデジタル画像信号を、「第１のデジタル信号」と称する場合がある。同様に、ＯＢ画素領域４２が出力したアナログ画像信号から生成されるデジタル画像信号を、「第２のデジタル信号」と称し、ダミー画素領域４３が出力した画像信号から生成されるデジタル画像信号を、「第３のデジタル信号」と称する場合がある。

図２において、有効画素領域４１は、２０００×１０００ワードの領域を占め、ＯＢ画素領域４２は、有効画素領域４１の上下左右に４０ワードずつの領域を占める。さらに、ダミー画素領域４３は、ＯＢ画素領域４２の上下左右に２ワードずつの領域を占める。

この結果、固体撮像素子２は、２０８４×１０８４＝２，２５９，０５６ワードからなる画素データを、水平方向の１本の水平ライン毎に信号処理装置１０５へ転送している。
従来の固体撮像素子１０１は、全画素分の画素データを転送するに際し、２，５０５，６００ワード分の画素データの転送量が必要であった。しかし、本例の固体撮像素子２は、２，２５９，０５６画素分の画素データの転送量で収まることが示される。このため、固体撮像素子２から信号処理装置３に画素データを転送するための転送帯域を、１０％程度削減することができる。

図３は、固体撮像素子２が行う、デジタル画像信号の画素データのノイズ検波と補正処理の例を示す。
ここでは、図２に示した固体撮像素子２の領域４４を拡大視して説明する。
水平ライン４５には、有効画素領域４１、ＯＢ画素領域４２、及びダミー画素領域４３から出力される画像信号が含まれる。
信号処理装置３は、ダミー画素領域４３から出力される画像信号から得られたデジタル画像信号に基づいて、信号レベルの平均値を算出する。そして、有効画素領域４１から得られるデジタル画像信号に対する補正値として、この平均値を用いて信号レベルの補正を行う。

図４は、画素データのフォーマットの例を示す。
図４Ａは、複数の画素部２１が出力する画素データのフォーマットの例を示す。
画素データは、ブランクフィールド、ダミーフィールド、ＨＯＰＢ（Horizontal OPtical Black）フィールド、有効フィールド、ＨＯＰＢフィールド、ダミーフィールドを１単位として画素部２１から出力される。ダミーフィールドには、ダミー画素領域４３から出力されたデジタル画像信号からなる画素データが格納される。ＨＯＰＢフィールドには、ＯＢ画素領域４２から出力されたデジタル画像信号からなる画素データが格納される。有効フィールドには、有効画素領域４１から出力されたデジタル画像信号からなる画素データが格納される。

図４Ｂは、従来の固体撮像素子１０１が出力する画素データのフォーマットの例を示す。
従来の固体撮像素子１０１は、画素データをそのままデジタル画像信号として出力した後、信号処理装置１０５がノイズ補正を行っていた。このため、固体撮像素子１０１から信号処理装置１０５に転送される画素データの転送タイミングは、アナログ／デジタル変換部１０３，デジタル処理部１０４が行う処理により、画素部１０２が出力したタイミングより遅れる。

図４Ｃは、本例の固体撮像素子２が出力する画素データのフォーマットの例を示す。
マルチプレクサ２６は、画素部２１がデジタル処理部２３に出力する画素データに含まれる、第３のデジタル信号からなる画素データを格納するフィールドに対して画素データを置き換える処理を行う。つまり、マルチプレクサ２６は、加算部２５によって加算された第２及び第３のデジタル信号からなる画素データ、又は第３のデジタル信号からなる画素データのうち、いずれかからなる画素データを置き換えて、所定のタイミングで遅らせて出力する。

固体撮像素子２は、加算部２５がダミー画素領域４３から出力されたデジタル画像信号を加算する。この加算によって得られる加算データは、２ワードの語長となる。このため、加算データを格納するフィールドがダミーフィールドの代わりに設けられる。そして、加算部２５が画素データを加算して出力するために考慮されるべき遅延時間は、加算データが格納されるフィールドの前に配置されたブランクフィールドによって調整される。このため、固体撮像素子２が出力する画素データのデータ量は、従来の固体撮像素子１０１が出力する画素データのデータ量に比べて少なくなる。

ここで、本例のダミー画素領域４３から出力された画素データをＯＢ画素領域４２にから出力された画素データに置き換える技術は、上述した特許文献１に開示されている。しかし、ＯＢ画素の一部に欠陥画素が含まれると、単純にＯＢ画素が出力した画素データを加算すると誤補正の原因となってしまう。このため、本例の固体撮像素子２は、ダミー画素領域４３から出力された画素データのみを加算の対象としている。このようにして、固体撮像素子２から信号処理装置３に画素データを転送する時間を、従来の転送時間に比べて１０％程度短縮することができる。

図５は、固体撮像素子２が出力する、１本の水平ライン４５における画素データの転送イメージの例を示す。
固体撮像素子２が信号処理装置３に出力する画像信号の水平ライン４５は以下のように構成される。すなわち、水平ライン４５に含まれる１つの画素部２１が出力する画素データのデータ長は、１２ビット幅である。そして、水平ライン４５には、２ワードのダミー画素領域４３が出力する画素データから得る加算データ、４０ワードのＯＢ画素領域４２が出力する画素データ、及び２０００ワードの有効画素領域４１が出力する画素データが含まれる。ただし、図５の説明では、領域４４のみ注目している。実際には、有効画素領域４１の右側に位置する４０ワードのＯＢ画素領域４２が出力するデジタル画像信号からなる画素データと、２ワードのダミー画素領域４３が出力する画素データから得る加算データも含まれる。

以上説明した第１の実施の形態に係る撮像装置１によれば、固体撮像素子２がダミー画素領域４３から出力された２ワードの画素データを加算した加算データを生成する。このため、固体撮像素子２から信号処理装置３に出力される画素データのデータ量が少なくなり、固体撮像素子２から信号処理装置３にデータを転送するための通信線の帯域を圧迫しないという効果がある。また、ダミー画素領域４３が出力する画像信号を加算出力することで、転送される画素データの転送帯域を削減しながら、高画質の画像を得られる。また、既に固体撮像素子２において加算部２５による画素データの加算処理を行っているため、信号処理装置３は改めて画素データの加算処理を行う必要がない。このため、信号処理装置３がデジタル画像信号のノイズ補正を行うに際し、速やかにデジタル画像信号の平均値を求めることができ、ノイズ補正に要する演算速度を向上できるという効果がある。

なお、固体撮像素子２からデジタル処理部２３以降の処理ブロックを取り出してもよい。
図６は、図１に示した第１の実施の形態に係る撮像装置１の他の形態の例を示す。
本例では、固体撮像素子２と信号処理装置３の間に前処理装置５を設け、前処理装置５が、遅延部２４，加算部２５及びマルチプレクサ２６を備える。これにより、固体撮像素子２の処理負荷が軽くなり、消費電力を抑えることができるという効果がある。また、固体撮像素子２の機能ブロックの一部を前処理装置５に振り分けた。このため、従来の固体撮像素子を用いながら、前処理装置５を設置するだけで、上述した第１の実施の形態に係る撮像装置１と同様の信号処理を行うことができる。

＜２．第２の実施の形態＞
［ダミー画素の加算データをＭＳＢとＬＳＢに分割した画素データを伝送する例］

次に、本発明に係る第２の実施の形態例について説明する。
本例では、固体撮像素子５１がデジタル画像信号のデータ型を変換した後、信号処理装置５５にデータ型が変換されたデジタル画像信号を出力する撮像装置５０に適用する。ただし、以下の説明において、既に第１の実施の形態で説明した図１に対応する部分には同一符号を付し、詳細な説明を省略する。

図７は、撮像装置５０の内部構成例を示すブロック図である。
撮像装置５０は、デジタル画像信号を出力する固体撮像素子５１と、そのデジタル画像信号に所定の補正処理を加える信号処理装置５５と、を備える。
固体撮像素子５１は、画素部２１，アナログ／デジタル変換部２２，デジタル処理部２３，遅延部２４，加算部２５，データ型変換部５２，及びマルチプレクサ２６を備える。

本例の固体撮像素子５１は、画素データのデータ型を変換するデータ型変換部５２を備える。データ型変換部５２は、加算部２５によって加算された第３のデジタル信号をＭＳＢとＬＳＢに分割することによって、第３のデジタル信号からなる画素データのデータ型を変換し、データ型が変換された画素データをマルチプレクサ２６に出力する。このとき、データ型変換部５２は、ＭＳＢファーストで信号処理装置５５に転送している。このようにデータ型を変換するのは、加算データの語長を保存するためである。

ここで、１２ビット語長の画素データを加算して得られる加算データの語長は、以下のように示される。ここで、ｎ画素から出力される画像信号からなる画素データを加算することを、「ｎ画素加算」と略称する。
２画素加算の場合：１３ビット
４画素加算の場合：１４ビット
８画素加算の場合：１５ビット
１６画素加算の場合：１６ビット
３２画素加算の場合：１７ビット
６４画素加算の場合：１８ビット
これらの加算データを１２ビット幅で転送するには、分割して転送するしかない。このため、本例の固体撮像素子５１は、加算データをＭＳＢとＬＳＢに分割している。例えば、１２ビット語長の加算データは、６ビットと６ビットで分割されるが、１３ビット語長の加算データは、１ビットと１２ビットで分割され、１４ビット語長の加算データは、２ビットと１２ビットで分割され、・・・という具合に続く。

この時、正確には、１３ビット語長の加算データに対して、１ワード目の１１ビットを無効データ、１ビットを有効データ（ＭＳＢ）とし、２ワード目の１２ビットを有効データ（ＬＳＢ）としている。
なお、本例では、データ型変換部５２は、ＭＳＢファーストで信号処理装置５５に転送しているが、送信側と受信側でビット割当てが同じであるならば、ＬＳＢファーストで転送してもよい。

本例のダミー画素領域４３から出力される画像信号から成る画素データのデータ長は、上下左右を加算した２ワードで表現される。ここで、１ワードは、加算する画素のＭＳＢ（Most Significant Bit）／ＬＳＢ（Least Significant Bit）に相当する。ＭＳＢは、２進数で表現されたデータ列の内、最上位のビットであり、ＬＳＢは、最下位のビットである。そして、本例の固体撮像素子２は、ダミー画素領域４３で出力されたデジタル画像信号からなる画素データを加算した後、２ワードのデジタル画像信号からなる画素データを出力する。

信号処理装置５５は、デジタル画像信号のノイズを補正するノイズ補正部５６を備える。ノイズ補正部５６は、遅延部３２，補正部３５，データ型変換部５７，及び平均値算出部３３を備える。平均値算出部３３は、除算部３４を備える。

データ型変換部５７は、固体撮像素子２から受け取った加算された第３のデジタル信号からなる画素データをビット連結して、平均値算出部３３にビット連結した第３のデジタル信号からなる画素データを出力する。そして、平均値算出部３３は、連結した画素データを用いて信号レベルの平均値を求める。このため、信号処理装置５５がデジタル画像信号のノイズ補正を行うに際し、速やかにデジタル画像信号の平均値を求めることができる。

図８は、１本の水平ライン４５における画素データの転送イメージの例を示す。
固体撮像素子５１が信号処理装置５５に出力する画像信号の水平ラインは以下のように構成される。すなわち、本例の水平ライン４５には、２ワードのダミー画素領域４３が出力する画素データから得る加算データ、４０ワードのＯＢ画素領域４２が出力する画素データ、及び２０００ワードの有効画素領域４１が出力する画素データが含まれる。ただし、図５の説明では、領域４４のみ注目している。実際には、有効画素領域４１の右側に位置する画素から出力される４０ワードのＯＢ画素領域４２が出力する画素データ、２ワードのダミー画素領域４３が出力する画素データから得る加算データも含まれる。

本例のダミー画素が出力する画素データを加算して得られる加算データのＭＳＢ又はＬＳＢは、それぞれ１画素毎にｕ２２．２で表される。そして、４０ワードのＯＢ画素の画素データと、２０００ワードの有効画素の画素データは、それぞれ１画素毎にｕ１０．２で表される。正確には、４０画素が出力する画像信号からなる画素データを加算しているので、ｕ１６．２を、ＭＳＢとＬＳＢに分割して２ワードずつ出力する。ｕ２２．２は、１２ビット語長のデータを２ワードで確保できる最大語長であり、４０画素が出力する画像信号からなる画素データを加算するだけであれば、ここまでの語長は不要である。

以上説明した第２の実施の形態に係る撮像装置５０によれば、固体撮像素子５１が画素データの加算を行った後、画素データのデータ型を変換するようにした。このため、デジタル画像信号の補正精度を高くできるため、高画質の画像を得られるという効果がある。また、固体撮像素子５１が予めデータ型の変換された画素データを信号処理装置５５に出力するため、撮像装置５０全体として、ノイズ補正に要する演算速度を向上できるという効果がある。

＜３．第３の実施の形態＞
［ダミー画素の平均値が含まれる画素データを伝送する例］

次に、本発明に係る第３の実施の形態例について説明する。
本例では、固体撮像素子６１がデジタル画像信号のデータ型を変換した後、信号処理装置６５に変換したデジタル画像信号を出力する撮像装置６０に適用する。ただし、以下の説明において、既に第１の実施の形態で説明した図１，図３に対応する部分には同一符号を付し、詳細な説明を省略する。

図９は、撮像装置６０の内部構成例を示すブロック図である。
撮像装置６０は、デジタル画像信号を出力する固体撮像素子５１と、そのデジタル画像信号に所定の補正処理を加える信号処理装置６５と、を備える。

固体撮像素子６１は、画素部２１，アナログ／デジタル変換部２２，デジタル処理部２３，遅延部２４，加算部２５，除算部６３，及びマルチプレクサ２６を備える。
信号処理装置６５は、デジタル画像信号のノイズを補正するノイズ補正部３１を備える。ノイズ補正部３１は、補正部３５を備える。

本例の固体撮像素子６１は、画素データの欠陥を補正する除算部６３を備える。
デジタル処理部２３は、第３のデジタル信号からなるダミー画素領域４３から出力された画素データを加算部２５に出力する。加算部２５と除算部６３には、加算回数等のパラメータが入力される。そして、除算部６３は、加算部２５によって加算された第３のデジタル信号からなる画素データをパラメータとして入力された加算回数によって除して、加算された画素データに含まれる第３のデジタル信号のレベルの平均値を算出する。そして、この平均値からなる画素データをマルチプレクサ２６に出力する。マルチプレクサ２６は、デジタル処理部２３によって処理された第１〜第３のデジタル信号からなる遅延された画素データ、又は除算部６３によって算出された平均値からなる画素データのうち、いずれかの画素データを選択して出力する。補正部３５は、固体撮像素子６１から受け取った第１〜第３のデジタル信号からなる画素データから、平均値を減じて、第１〜第３のデジタル信号からなる画素データのレベルを補正する。

このように、本例の固体撮像素子６１は、加算部２５が、ダミー画素領域４３から出力された画像信号を加算し、除算部６３が平均値を算出することによって、欠陥画素の混入を防止している。このように、ダミー画素領域４３からは平均値を転送し、ＯＢ画素領域４２からは１画素ずつ出力されたデジタル画像信号を転送している。このようにしているのは、ダミー画素領域４３には欠陥が発生しないので、欠陥補正せずに平均値からなる画素データが得られると共に、欠陥が発生するＯＢ画素領域４２が出力した画像信号からなる画素データを加算平均するためである。

図１０は、本例の固体撮像素子６１が行う、画素データのノイズ検波と補正処理の例を示す。
水平ライン４５には、有効画素領域４１、ＯＢ画素領域４２、及びダミー画素領域４３が出力する画像信号が含まれる。
固体撮像素子６１は、ダミー画素領域４３から得たデジタル画像信号の信号レベルの平均値を出力する。そして、補正部３５は、この平均値を補正値として用いて、有効画素領域４１から得たデジタル画像信号のノイズ補正を行う。

図１１は、１本の水平ライン４５における画素データの転送イメージの例を示す。
画素データの転送イメージは上述した第１の実施の形態に係る画素データの転送イメージの例（図５参照）と同様である。そして、本例の固体撮像素子６１は、従来、信号処理装置３の内部で行っていた、画素欠陥が生じた画素が出力した画像信号の補正を行っている。

固体撮像素子６１が信号処理装置６５に出力する画像信号の水平ライン４５は以下のように構成される。すなわち、水平ライン４５には、１ワードのダミー画素領域４３が出力する画素データから得る平均値データ、４０ワードのＯＢ画素領域４２が出力する画素データ、及び２０００ワードの有効画素領域４１が出力する画素データが含まれる。実際には、有効画素領域４１の右側に位置する画素から出力される４０ワードのＯＢ画素領域４２が出力する画素データ、１ワードのダミー画素領域４３が出力する画素データから得る平均値データも含まれる。

本例では、ダミー画素領域４３から出力される１画素毎の画素データのフォーマットは、１画素毎にｓ５．６で表される。このため、平均値のビット語長を、信号処理で使用する小数点精度でかつ符号付きのビット語長に合わせて、切り捨てや丸めなどによる精度の劣化を防止しつつ、有効画素領域４１に含まれる１画素が出力する画素データのビット語長に調整して出力できる。以下、「ｓ５．６」の表記は、「ｓ」はｓｉｇｎｅｄ（符号付き）、「５．６」は整数部が５ビットであり、小数部が６ビットであることを意味する。

以上説明した第３の実施の形態に係る撮像装置６０によれば、固体撮像素子６１は、ダミー画素領域４３から出力される画像信号をデジタル画像信号に変換した後、欠陥補正をした上で算出した信号レベルの平均値を出力する。そして、ノイズ補正部６６は、この平均値を補正値として用いて、デジタル画像信号のノイズ補正を行う。このため、固体撮像素子６１から信号処理装置６５への画素データの転送時間を短縮できると共に、信号処理装置６５の処理負荷が軽減される。このため、撮像装置６０全体の処理速度を向上したり、消費電力を抑えたりする効果がある。

図１２は、図９に示した第３の実施の形態に係る撮像装置６０の他の形態に係る撮像装置７０の例を示す。
本例の撮像装置７０は、固体撮像素子７１と信号処理装置６５を備える。固体撮像素子７１において、デジタル処理部２３は、デジタル処理された第２及び第３のデジタル信号を欠陥補正部６２に出力する。欠陥補正部６２は、パラメータ入力された欠陥閾値に基づいて、デジタル処理部２３によって処理された第２及び第３のデジタル信号からなる画素データの欠陥が所定の欠陥閾値の範囲外にある場合に、欠陥閾値の範囲内に収まるように画素データの欠陥を補正する。そして、欠陥を補正した第２及び第３のデジタル信号からなる画素データを加算部２５に出力する。
また、除算部６３は、加算部２５によって加算された第２及び第３のデジタル信号からなる画素データを、入力された加算回数によって除して信号レベルの平均値を得て、この平均値からなる画素データをマルチプレクサ２６に出力する。

このように、本例の固体撮像素子７１は、欠陥補正部６２によって、第２及び第３のデジタル信号の欠陥を補正した後に、加算部２５が第２及び第３のデジタル信号の加算を行うことによって、画素欠陥が生じた画素が出力する画像信号の影響を抑えている。

図１３は、１本の水平ライン４５における画素データの転送イメージの例を示す。
固体撮像素子７１が信号処理装置６５に出力する画像信号の水平ラインは以下のように構成される。すなわち、水平ライン４５には、１ワードのダミー画素領域４３が出力する画素データから得る平均値データ、１ワードの欠陥補正後のＯＢ画素領域４２が出力する画素データから得る平均値データが含まれる。また、水平ライン４５には、２０００ワードの有効画素領域４１が出力する画素データが含まれる。実際には、有効画素領域４１の右側に位置する画素から出力される１ワードの欠陥補正後のＯＢ画素領域４２が出力する画素データから得る平均値データ、１ワードのダミー画素領域４３が出力する画素データから得る平均値データも含まれる。ダミー画素の加算データは、それぞれ１画素毎にｓ５．６で表される。そして、２０００ワードの有効画素の画素データは、それぞれ１画素毎にｕ１０．２で表される。

これにより、固体撮像素子１１は、ＯＢ画素領域４２から出力されるデジタル画像信号からなる画素データの画素欠陥を補正した後に加算し、除算することによってＯＢ画素領域４２から出力されるデジタル画像信号の信号レベルの平均値を出力する。また、固体撮像素子６１は、ダミー画素領域４３から出力されるデジタル画像信号からなる画素データを加算し、除算することによってダミー画素領域４３から出力されるデジタル画像信号の信号レベルの平均値を出力する。このとき、固体撮像素子６１は、平均値のビット語長を、信号処理装置６５が使用する小数点精度であって、かつ、符号付きのビット語長に合わせて、有効画素領域４１に含まれる１画素が出力する画素データのビット語長に調整して出力する。

以上説明した他の実施の形態に係る撮像装置７０によれば、固体撮像素子６１が出力する画素データについて、ダミー画素と、欠陥補正後のＯＢ画素について平均値を求める。このため、画素データに含まれる端数を切り捨てたり、丸めたりすることによる情報の劣化を防止できるという効果がある。

＜４．第４の実施の形態＞
［ダミー画素と、欠陥が補正されたＯＢ画素の平均値が含まれる画素データを伝送する例］

次に、本発明に係る第４の実施の形態例について説明する。
本例では、固体撮像素子８１が画素データのデータ型を変換した後、信号処理装置８５に変換した画素データを出力する撮像装置８０に適用する。ただし、以下の説明において、既に第１の実施の形態で説明した図１に対応する部分には同一符号を付し、詳細な説明を省略する。

図１４は、本例の撮像装置８０の内部構成例を示すブロック図である。
撮像装置８０は、デジタル画像信号を出力する固体撮像素子８１と、そのデジタル画像信号に所定の補正処理を加える信号処理装置８５と、を備える。

固体撮像素子８１は、画素部２１，アナログ／デジタル変換部２２，デジタル処理部２３，遅延部２４，欠陥補正部６２，加算部２５，除算部６３，データ型変換部５２，及びマルチプレクサ２６を備える。
信号処理装置８５は、デジタル画像信号のノイズを補正するノイズ補正部８６を備える。ノイズ補正部８６はデータ型変換部５７と、補正部３５を備える。

本例の固体撮像素子８１は、図１２を参照して説明した固体撮像素子７１の内部ブロックに加えて、さらに画素データのデータ型を変換する、第１のデータ型変換部としてのデータ型変換部５２を備える。
データ型変換部５２は、除算部６３によって処理された平均値からなる画素データのデータ型を浮動小数点形式に変換し、データ型が変換された平均値からなる画素データをマルチプレクサ２６に出力する。

ここで、本例の画素データのデータ型として、１ワードのダミー画素の平均値データ、１ワードの欠陥補正後のＯＢ画素の平均値データは、それぞれ浮動小数点により表される。そして、データ型変換部５２は、平均値データを、浮動小数点形式に変換することで、有効画素領域４１に含まれる１画素が出力する画素データのビット語長に調整してマルチプレクサ２６に出力する。その後、固体撮像素子８１は、平均値データを有効画素が出力したデジタル画像信号からなる画素データと共に、信号処理装置８５に転送している。そして、第２のデータ型変換部としてのデータ型変換部５７は、固体撮像素子８１から受け取った平均値のデータ型を逆変換する。そして、補正部３５は、固体撮像素子８１子から受け取った第１〜第３のデジタル信号からなる画素データから、データ型変換部５７から受け取った平均値を減じて、第１〜第３のデジタル信号からなる画素データのレベルを補正する。

図１５は、１本の水平ライン４５における画素データの転送イメージの例を示す。
固体撮像素子８１が信号処理装置８５に出力する画像信号の水平ラインは以下のように構成される。すなわち、水平ライン４５には、１ワードのダミー画素領域４３が出力する画素データから得る平均値データ、１ワードの欠陥補正後のＯＢ画素領域４２が出力する画素データから得る平均値データが含まれる。さらに、水平ライン４５には、２０００ワードの有効画素領域４１が出力する画素データが含まれる。実際には、有効画素領域４１の右側に位置する画素から出力される１ワードの欠陥補正後のＯＢ画素領域４２が出力する画素データから得る平均値データ、１ワードのダミー画素領域４３が出力する画素データから得る平均値データも含まれる。

以上説明した第４の実施の形態に係る撮像装置８０によれば、固体撮像素子８１は、ＯＢ画素領域４２から出力されるアナログ画像信号をデジタル画像信号に変換する。その後、固体撮像素子８１は、デジタル画像信号の信号レベルの欠陥補正をした上で信号レベルの平均値を算出する。また、固体撮像素子８１は、ダミー画素領域４３から出力されるデジタル画像信号からなる画素データを加算し、除算することによってダミー画素領域４３から出力されるデジタル画像信号の信号レベルの平均値を出力する。そして、ダミー画素領域４３から出力されるデジタル画像信号の平均値データと、ＯＢ画素領域４２から出力される、欠陥補正後のデジタル画像信号の平均値データを、浮動小数点形式で表して、信号処理装置８５に出力する。そして、ノイズ補正部８６は、この平均値を補正値として用いて、デジタル画像信号のノイズ補正を行う。このため、さらに固体撮像素子８１から信号処理装置８５への画素データの転送時間を短縮し、信号処理装置の負荷を軽減することができるという効果がある。

なお、上述した第１〜第４の実施の形態例における固体撮像素子が出力したデジタル信号に対する一連の処理は、ハードウェアにより実行することができるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムを、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで各種の機能を実行することが可能である。例えば汎用のパーソナルコンピュータなどに所望のソフトウェアを構成するプログラムをインストールして実行させればよい。

また、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給してもよい。また、そのシステムあるいは装置のコンピュータ（またはＣＰＵ等の制御装置）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、機能が実現されることは言うまでもない。

この場合のプログラムコードを供給するための記録媒体としては、例えば、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施の形態の機能が実現される。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部又は全部を行う。その処理によって上述した実施の形態の機能が実現される場合も含まれる。

また、本発明は上述した実施の形態に限られるものではなく、本発明の要旨を逸脱することなくその他種々の構成を取り得ることは勿論である。

１…撮像装置、２…固体撮像素子、３…信号処理装置、５…前処理装置、６…小数部、１１…固体撮像素子、２１…画素部、２２…アナログ／デジタル変換部、２３…デジタル処理部、２４…遅延部、２５…加算部、２６…マルチプレクサ、３１…ノイズ補正部、３２…遅延部、３３…平均値算出部、３４…除算部、３５…補正部、４１…有効画素領域、４２…ＯＢ画素領域、４３…ダミー画素領域、４４…領域、４５…水平ライン、５０…撮像装置、５１…固体撮像素子、５２…データ型変換部、５５…信号処理装置、５６…ノイズ補正部、５７…データ型変換部、６０…撮像装置、６１…固体撮像素子、６２…欠陥補正部、６３…除算部、６５…信号処理装置、６６…ノイズ補正部、７０…撮像装置、７１…固体撮像素子、８０…撮像装置、８１…固体撮像素子、８５…信号処理装置、８６…ノイズ補正部

Claims (12)

1. 入射した像光を光電変換して第１のデジタル信号が生成される有効画素領域、前記有効画素領域の周囲の遮光領域に配置され、第２のデジタル信号が生成されるオプティカルブラック画素領域、及び前記オプティカルブラック画素領域の周囲に配置され、第３のデジタル信号が生成されるダミー画素領域と、を有する画素部から得られた前記第１〜第３のデジタル信号からなる画素データに対して所定の処理を施すデジタル処理部と、
   前記デジタル処理部によって処理された前記第２及び第３のデジタル信号からなる画素データ、又は前記第３のデジタル信号からなる画素データのいずれかを、所定の加算回数だけ加算する加算部と、
   前記加算部によって加算された画素データを前記加算回数によって除して、前記加算された画素データに含まれるデジタル信号のレベルの平均値を算出する除算部と、
   前記デジタル処理部によって処理された前記第１〜第３のデジタル信号からなる画素データの出力を所定のタイミングで遅らせる遅延部と、
   前記デジタル処理部によって処理された前記第１〜第３のデジタル信号からなる画素データ、又は前記除算部によって処理された前記平均値からなる画素データのうち、いずれかの画素データを選択して出力するマルチプレクサと、を備える
   撮像素子。
2. 前記マルチプレクサは、前記画素部が前記デジタル処理部に出力する画素データに含まれる、前記第３のデジタル信号からなる画素データを格納するフィールドに対して、前記加算部によって加算された前記第２及び第３のデジタル信号からなる画素データ、又は前記第３のデジタル信号からなる画素データのうち、いずれかからなる画素データを置き換えて、前記所定のタイミングで遅らせて出力する
   請求項１記載の撮像素子。
3. 更に、前記デジタル処理部によって処理された前記第３のデジタル信号からなる画素データの欠陥が所定の欠陥閾値の範囲外にある場合に、欠陥閾値の範囲内に収まるように第３のデジタル信号からなる画素データの欠陥を補正し、欠陥を補正した第３のデジタル信号からなる画素データを加算部に出力する欠陥補正部と、を備える
   請求項２記載の撮像素子。
4. 更に、前記除算部から受け取った前記平均値からなる画素データのデータ型を浮動小数点形式に変換し、前記データ型が変換された前記平均値からなる画素データを前記マルチプレクサに出力するデータ型変換部と、を備える
   請求項３記載の撮像素子。
5. 入射した像光を光電変換して第１のデジタル信号が生成される有効画素領域、前記有効画素領域の周囲の遮光領域に配置され、第２のデジタル信号が生成されるオプティカルブラック画素領域、及び前記オプティカルブラック画素領域の周囲に配置され、第３のデジタル信号が生成されるダミー画素領域と、を有する画素部から得られた前記第１〜第３のデジタル信号からなる画素データに対して所定の処理を施すデジタル処理部と、
   前記デジタル処理部によって処理された前記第２及び第３のデジタル信号からなる画素データ、又は前記第３のデジタル信号からなる画素データのいずれかを、所定の加算回数だけ加算する加算部と、
   前記デジタル処理部によって処理された前記第１〜第３のデジタル信号からなる画素データの出力を所定のタイミングで遅らせる第１の遅延部と、
   前記デジタル処理部によって処理された前記第１〜第３のデジタル信号からなる画素データ、又は前記加算部によって加算された前記第３のデジタル信号からなる画素データのうち、いずれかの画素データを選択して出力するマルチプレクサと、を有する撮像素子と、
   前記撮像素子から受け取った前記第１〜第３のデジタル信号からなる画素データの出力を第２のタイミングで遅らせる第２の遅延部と、
   前記撮像素子から受け取った前記加算された第３のデジタル信号からなる画素データの信号レベルを、前記加算回数で除して前記第３のデジタル信号からなる画素データのレベルの平均値を算出する除算部と、
   前記第２の遅延部から出力された前記第１〜第３のデジタル信号からなる画素データのレベルから、前記平均値を減じて、前記第１〜第３のデジタル信号からなる画素データのレベルを補正する補正部と、を有する信号処理部と、を備える
   撮像装置。
6. 前記マルチプレクサは、前記画素部が前記デジタル処理部に出力する画素データに含まれる、前記第３のデジタル信号からなる画素データを格納するフィールドに対して、前記加算部によって加算された前記第２及び第３のデジタル信号からなる画素データ、又は前記第３のデジタル信号からなる画素データのうち、いずれかからなる画素データを置き換えて、前記所定のタイミングで遅らせて出力する
   請求項５記載の撮像装置。
7. 前記撮像素子は、前記加算部によって加算された前記第３のデジタル信号からなる画素データをＭＳＢとＬＳＢに分割することによって、前記第３のデジタル信号からなる画素データのデータ型を変換し、前記データ型が変換された画素データを前記マルチプレクサに出力する第１のデータ型変換部を備え、
   前記信号処理部は、前記撮像素子から受け取った前記加算された第３のデジタル信号からなる画素データをビット連結して、前記除算部にビット連結した前記第３のデジタル信号からなる画素データを出力する第２のデータ型変換部を備える
   請求項６記載の撮像装置。
8. 入射した像光を光電変換して第１のデジタル信号が生成される有効画素領域、前記有効画素領域の周囲の遮光領域に配置され、第２のデジタル信号が生成されるオプティカルブラック画素領域、及び前記オプティカルブラック画素領域の周囲に配置され、第３のデジタル信号が生成されるダミー画素領域と、を有する画素部から得られた前記第１〜第３のデジタル信号からなる画素データに対して所定の処理を施すデジタル処理部と、
   前記デジタル処理部によって処理された前記第２及び第３のデジタル信号からなる画素データ、又は前記第３のデジタル信号からなる画素データのうち、いずれかを、所定の加算回数だけ加算する加算部と、
   前記加算部によって加算された前記画素データを前記加算回数によって除し、前記画素データのレベルの平均値を算出する除算部と、
   前記デジタル処理部によって処理された前記第１〜第３のデジタル信号からなる画素データの出力を所定のタイミングで遅らせる遅延部と、
   前記デジタル処理部によって処理された前記第１〜第３のデジタル信号からなる画素データ、又は前記平均値のうち、いずれかの画素データを選択して出力するマルチプレクサと、を有する撮像素子と、
   前記撮像素子から受け取った前記第１〜第３のデジタル信号からなる画素データから、撮像素子から受け取った前記平均値を減じて、前記第１〜第３のデジタル信号からなる画素データのレベルを補正する補正部と、を有する信号処理部と、を備える
   撮像装置。
9. 入射した像光を光電変換して第１のデジタル信号が生成される有効画素領域、前記有効画素領域の周囲の遮光領域に配置され、第２のデジタル信号が生成されるオプティカルブラック画素領域、及び前記オプティカルブラック画素領域の周囲に配置され、第３のデジタル信号が生成されるダミー画素領域と、を有する画素部から得られた前記第１〜第３のデジタル信号からなる画素データに対して所定の処理を施すデジタル処理部と、
   前記デジタル処理部によって処理された前記第３のデジタル信号からなる画素データの欠陥が所定の欠陥閾値の範囲外にある場合に、欠陥閾値の範囲内に収まるように第３のデジタル信号からなる画素データの欠陥を補正し、欠陥を補正した第３のデジタル信号からなる画素データを加算部に出力する欠陥補正部と、
   前記欠陥補正部によって処理された前記第２及び第３のデジタル信号からなる画素データを、所定の加算回数だけ加算する加算部と、
   前記加算部によって加算された前記画素データを前記加算回数によって除し、前記画素データのレベルの平均値を算出する除算部と、
   前記除算部から受け取った前記平均値からなる画素データのデータ型を浮動小数点形式に変換する第１のデータ型変換部と、
   前記デジタル処理部によって処理された前記第１〜第３のデジタル信号からなる画素データの出力を所定のタイミングで遅らせる遅延部と、
   前記デジタル処理部によって処理された前記第１〜第３のデジタル信号からなる画素データ、又は前記平均値のうち、いずれかの画素データを選択して出力するマルチプレクサと、を有する撮像素子と、
   前記撮像素子から受け取った前記平均値のデータ型を逆変換する第２のデータ型変換部と、
   前記撮像素子から受け取った前記第１〜第３のデジタル信号からなる画素データから、前記第２のデータ型変換部から受け取った前記平均値を減じて、前記第１〜第３のデジタル信号からなる画素データのレベルを補正する補正部と、を有する信号処理部と、を備える
   撮像装置。
10. 入射した像光を光電変換して第１のデジタル信号が生成される有効画素領域、前記有効画素領域の周囲の遮光領域に配置され、第２のデジタル信号が生成されるオプティカルブラック画素領域、及び前記オプティカルブラック画素領域の周囲に配置され、第３のデジタル信号が生成されるダミー画素領域と、を有する画素部から得られた前記第１〜第３のデジタル信号からなる画素データに対して所定の処理を施すデジタル処理部を有する撮像素子と、
    前記デジタル処理部によって処理された前記第２及び第３のデジタル信号からなる画素データ、又は前記第３のデジタル信号からなる画素データのいずれかを、所定の加算回数だけ加算する加算部と、
    前記デジタル処理部によって処理された前記第１〜第３のデジタル信号からなる画素データの出力を第１のタイミングで遅らせる第１の遅延部と、
    前記デジタル処理部によって処理された前記第１〜第３のデジタル信号からなる画素データ、又は前記加算部によって加算された前記第３のデジタル信号からなる画素データのうち、いずれかの画素データを選択して出力するマルチプレクサと、を有する前処理部と、
    前記前処理部から受け取った前記第１〜第３のデジタル信号からなる画素データの出力を第２のタイミングで遅らせる第２の遅延部と、
    前記前処理部から受け取った前記加算された第３のデジタル信号からなる画素データを、前記加算回数で除して前記第３のデジタル信号からなる画素データのレベルの平均値を算出する除算部と、
    前記第２の遅延部から出力された前記第１〜第３のデジタル信号からなる画素データのレベルから、前記平均値を減じて、前記第１〜第３のデジタル信号からなる画素データのレベルを補正する補正部と、を有する信号処理部と、を備える
    撮像装置。
11. 入射した像光を光電変換して第１のデジタル信号が生成される有効画素領域、前記有効画素領域の周囲の遮光領域に配置され、第２のデジタル信号が生成されるオプティカルブラック画素領域、及び前記オプティカルブラック画素領域の周囲に配置され、第３のデジタル信号が生成されるダミー画素領域と、を有する画素部から得られた前記第１〜第３のデジタル信号からなる画素データに対して所定の処理を施すステップと、
    前記処理された前記第２及び第３のデジタル信号からなる画素データ、又は前記第３のデジタル信号からなる画素データのいずれかを、所定の加算回数だけ加算するステップと、
    加算された前記第３のデジタル信号からなる画素データを加算回数によって除して得られる平均値の画素データを出力するステップと、
    前記処理された前記第１〜第３のデジタル信号からなる画素データの出力を所定のタイミングで遅らせるステップと、
    前記処理された前記第１〜第３のデジタル信号からなる画素データ、又は前記平均値の画素データのうち、いずれかの画素データを選択して出力するステップを、を含む
    信号処理方法。
12. 入射した像光を光電変換して第１のデジタル信号が生成される有効画素領域、前記有効画素領域の周囲の遮光領域に配置され、第２のデジタル信号が生成されるオプティカルブラック画素領域、及び前記オプティカルブラック画素領域の周囲に配置され、第３のデジタル信号が生成されるダミー画素領域と、を有する画素部から得られた前記第１〜第３のデジタル信号からなる画素データを処理する手順、
    前記処理された前記第２及び第３のデジタル信号からなる画素データ、又は前記第３のデジタル信号からなる画素データのいずれかを、所定の加算回数だけ加算する手順、
    加算された前記第３のデジタル信号からなる画素データを加算回数によって除して得られる平均値の画素データを出力する手順、
    前記処理された前記第１〜第３のデジタル信号からなる画素データの出力を所定のタイミングで遅らせる手順、
    前記処理された前記第１〜第３のデジタル信号からなる画素データ、又は前記平均値の画素データのうち、いずれかの画素データを選択して出力する手順を、を含む処理を
    コンピュータに実行させるプログラム。

Images