JP6929066B2 - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Description

本発明は、動画像を出力可能な撮像装置に関するものである。

近年の撮像装置においては、撮像素子としてＣＭＯＳセンサが広く用いられており、また、静止画・動画双方の撮影を可能としたものが一般的となっている。このような撮像装置で動画撮影を行う場合、液晶画面上に画像表示を行うライブビューモード、フルＨＤモード、４Ｋモード等の各種の動画フォーマットが存在する。そして、動画像の場合、画像情報として画素信号を読み出す際に、静止画相当の画素数から各動画フォーマットに応じた画素数に低画素数化する必要がある。低画素数化の一般的な方法としては、特定の周期で画素を間引いて読み出す方法が知られているが、この方法では読み出しの高速化と引き換えに、モアレや偽色の発生などの画質劣化が生じる場合がある。

そのため、画質を損なわずに画素数を低画素数化して読み出す方法として、撮像素子内で画素混合処理（加算平均）を行う技術が特許文献１に開示されている。特許文献１では、画素混合して読み出す際、混合する複数行の画素を同時選択し、同列となる画素信号を同一の垂直信号線に同時出力させ、垂直信号線において信号の混合（加算平均）を行う。これにより、各画素からの信号を混合信号として読み出す構成としている。この方法は、画素内の回路規模を増大させずにモアレや偽色の発生を低減することができ、また画素混合により感度を向上させることが可能である点で有利な方法である。しかしながら、特許文献１に記載の方法においても、混合信号を得ようとする複数の画素の間の出力差が大きくなるほど、入力に対する出力の線形性が悪化するという課題が指摘されている。

一方で、ＣＭＯＳ型の撮像素子は半導体基板上に存在する局所的な結晶欠陥などにより欠陥画素が発生することがある。このような欠陥画素の出力信号では正しい画像を構成することができないため、欠陥画素の出力信号を補正する必要がある。特に、動画撮影における欠陥画素補正においては、あらかじめ動画相当の画素混合読み出しにより欠陥画素を抽出する方法と、静止画相当の欠陥画素情報から後処理により画素混合時の欠陥画素情報を取得する方法とがある。

特に後者の方法は、工場における動画相当の欠陥画素情報を取得するための欠陥抽出タクトの削減に効果的である。また画素混合モードの変更があった場合等にソフトウェア上の処理で柔軟に対応できることも有利な点である。

特開２０１０−２５９０２７号公報

しかしながら、特許文献１の画素混合方法においては、後処理により画素混合時の欠陥画素情報を取得する場合、以下のような問題が発生することが考えられる。

例えば画素混合単位内に出力の高い欠陥画素が含まれる場合、画素混合後の出力信号は単純な加算平均とはならず、線形性が失われた出力信号となる可能性がある。特にこの場合は出力の高い欠陥画素の影響が軽減され、画質上欠陥補正を行う必要がない条件が存在することが想定される。また欠陥画素補正は補正痕により画像劣化を発生させる可能性があるため、可能な限り行わない方が望ましい。よってこの非線形性の影響を考慮して欠陥の補正を行う方法が望まれている。

本発明は上述した課題に鑑みてなされたものであり、その目的は、画素混合により低画素数化して動画像信号を得る場合に、動画像の品質の低下を抑制することができる撮像装置を提供することである。

本発明に係わる撮像装置は、行方向および列方向に配置された複数の画素を有する撮像素子と、前記複数の画素のうちの所定数の画素の信号を混合した混合信号を、前記所定数の画素に対応する１つの混合画素の信号として生成するように前記撮像素子を駆動する駆動手段と、欠陥情報に基づいて、前記撮像素子から出力された信号の欠陥補正を行う補正手段と、を備え、前記欠陥情報は、前記複数の画素の欠陥レベルの情報と、前記混合画素の欠陥レベルの情報を含み、前記混合画素の欠陥レベルは、当該混合画素に対応する前記所定数の画素に欠陥画素が含まれ、かつ、前記所定数の画素の信号の出力差として所定の閾値以上となる出力差が存在する場合には、前記所定数の画素に含まれる画素の信号の平均値よりも低いレベルに設定されていることを特徴とする。
また、本発明に係わる撮像装置は、行方向および列方向に配置された複数の画素を有する撮像素子と、前記複数の画素のうちの所定数の画素の信号を混合した混合信号を、前記所定数の画素に対応する１つの混合画素の信号として生成するように前記撮像素子を駆動する駆動手段と、欠陥情報に基づいて、前記撮像素子から出力された信号の欠陥補正を行う補正手段と、を備え、前記欠陥情報は、前記複数の画素の欠陥レベルの情報と、前記混合画素の欠陥レベルの情報を含み、前記混合画素の欠陥レベルは、当該混合画素に対応する前記所定数の画素に欠陥画素が含まれ、かつ、前記所定数の画素の信号の出力差として所定の閾値以上となる出力差が存在する場合には、前記所定数の画素に含まれる欠陥画素の信号の平均値よりも低いレベルに設定されていることを特徴とする。
また、本発明に係わる撮像装置は、行方向および列方向に配置された複数の画素を有する撮像素子と、前記複数の画素のうちの所定数の画素の信号を混合した混合信号を、前記所定数の画素に対応する１つの混合画素の信号として生成するように前記撮像素子を駆動する駆動手段と、欠陥情報に基づいて、前記撮像素子から出力された信号の欠陥補正を行う補正手段と、を備え、前記欠陥情報は、前記複数の画素の欠陥レベルの情報と、前記混合画素の欠陥レベルの情報を含み、前記混合画素の欠陥レベルは、当該混合画素に対応する前記所定数の画素に、欠陥レベルが所定の閾値よりも大きい欠陥画素が含まれる場合は、前記所定数の画素に含まれる画素の信号の平均値よりも低いレベルに設定されていることを特徴とする。

本発明によれば、画素混合により低画素数化して動画像信号を得る場合に、動画像の品質の低下を抑制することができる撮像装置を提供することが可能となる。

本発明の第１の実施形態の撮像装置に内蔵される撮像素子における画素の回路構成を示した図。 第１の実施形態における撮像素子の構成を示す図。 第１の読み出し動作を示すタイミングチャート。 第２の読み出し動作を示すタイミングチャート。 画素混合の線形性を示す模式図。 画素混合による座標対応を示す模式図。 欠陥画素の補間方法を示す模式図。 欠陥画素の画素混合出力レベルと欠陥補正レベルの第１の例を示す図。 欠陥画素の画素混合出力レベルと欠陥補正レベルの第２の例を示す図。 第１の実施形態における欠陥補正回路が判定する閾値テーブルを示す図。 第２の実施形態における欠陥補正回路が判定する閾値テーブルを示す図。 欠陥レベルの判定シーケンスを示すフローチャート。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態の撮像装置に内蔵される撮像素子２００における画素１００の回路構成を示す図である。この図では、同色のカラーフィルタを備える２つの画素１００を示している。画素１００はフォトダイオード（以下ＰＤ）１０１、転送スイッチ１０２、フローティングディフュージョン（以下ＦＤ）１０３、リセットスイッチ１０４、画素アンプ１０５、選択スイッチ１０６を有する。画素１００は列ごとに配置された垂直信号線１０７に共通に接続される。

ＰＤ１０１は光電変換により入射光量に応じた電荷を発生し蓄積する。ＰＤ１０１に蓄積された電荷は、転送スイッチ１０２を介してＦＤ１０３へ転送される。ここで、転送スイッチ１０２は転送パルスＰＴＸによって制御される。リセットスイッチ１０４はリセットパルスＰＲＥＳによって制御され、ＦＤ１０３に基準電位ＶＤＤを供給することで不要電荷のリセットを行う。画素アンプ１０５はＭＯＳトランジスタと基準電位ＶＤＤからなるソースフォロア回路であり、ゲート入力であるＦＤ１０３の電位変動に応じた信号を出力する。選択スイッチ１０６は選択パルスＰＳＥＬによって制御され、画素アンプ１０５の電位変動を垂直信号線１０７へ出力する。

次に撮像素子２００の構成について図２を用いて説明する。撮像素子２００は画素１００を行単位で選択し信号出力を制御する垂直走査回路２０１、定電流回路２０２、電流制御回路２０３、行選択回路２０４、列回路２０５、水平走査回路２０６、タイミングジェネレータ（ＴＧ）２０７、出力端子２０８を有する。出力端子２０８は、信号処理回路２０９に接続されている。マトリクス状に配置された画素１００のそれぞれにＲ、Ｇ、Ｂのカラーフィルタが形成されている。なお、図２では例としてマトリクス状に配置された画素１００のうちｎ行目からｎ＋７行目を図示しており、それぞれ１００＿ｎといった添え字を付すものとする。ここでｎは行番号である。

画素１００をあるブロック単位で周期的に分割した集合を単位画素２１０とする。この単位画素２１０が画素混合単位（低画素化単位）となる。図２では同色のカラーフィルタに対応する画素１００＿ｎ、１００＿ｎ＋２の垂直２画素を合わせて一つの単位画素２１０と定義している。そしてこの単位画素２１０が各列に配置されている。なお単位画素２１０を構成する画素は本発明の趣旨に反しない範囲で任意に設定が可能である。例えば画素１００＿ｎ、１００＿ｎ＋２の垂直２画素に限らず、１００＿ｎ、１００＿ｎ＋２、１００＿ｎ＋４の垂直３画素や、画素１００＿ｎ、１００＿ｎ＋４の画素間引きを含んだ垂直２画素の組み合わせ等が可能である。

行選択回路２０４は垂直走査回路２０１の選択する行を制御する複数種類の行選択動作を有する。行選択動作の種類には、静止画撮像に相当する１行ずつを選択して通常（非混合）読み出しする第１の読出し動作と、動画撮像に相当する同色の行を複数行同時選択して混合（加算平均）読み出しする第２の読出し動作とがある。本実施形態では、前者による出力を非混合信号、後者による出力を混合信号と定義する。

また、定電流回路２０２は、垂直信号線１０７へ電流を供給することにより、画素アンプ１０５をソースフォロワとして駆動する。列回路２０５は垂直信号線１０７に出力された信号を列ごとに読み出し、出力端子２０８を介して順次撮像素子２００の外部へ信号を出力する。なお、列回路２０５は、信号増幅回路やＡ／Ｄ変換器を内蔵していてもよい。撮像素子２００の外部に出力された信号には、信号処理回路２０９において所定の画像処理が施される。この信号処理回路２０９に後述する欠陥補正回路２２０が内蔵されている。

次に撮像素子２００の駆動動作について説明する。なお、ｎ行目の選択信号ＰＳＥＬを、行番号を表す添字ｎを付して「ＰＳＥＬｎ」と表わすことにする。図３は、静止画撮像の場合等に用いられる読み出し方法で、撮像素子２００の全行を単位画素２１０によらず、全て通常読み出し（非混合：第１の読み出し動作）で読み出す場合のタイミングチャートである。

まず時刻ｔ１０１〜ｔ１０２の期間では、垂直走査回路２０１によって選択信号ＰＳＥＬｎがＨｉとされ、それに対応したｎ行目の画素１００の選択スイッチ１０６が駆動される。この期間では、垂直信号線１０７に対してｎ行目の画素１００の信号が出力される。垂直信号線１０７へ出力された信号は、列回路２０５へ入力され、その後、出力端子２０８を介して順次撮像素子２００の外部へ出力される。

次に時刻ｔ１０３〜ｔ１０４の期間では、垂直走査回路２０１によって選択信号ＰＳＥＬｎ＋１がＨｉとされ、それに対応したｎ＋１行目の画素１００の選択スイッチ１０６が駆動される。この期間では、垂直信号線１０７に対してｎ＋１行目の画素１００の信号が出力される。垂直信号線１０７へ出力された信号は、列回路２０５へ入力され、その後、出力端子２０８を介して順次撮像素子２００の外部へ出力される。以下、同様にしてｎ＋２行目以降の行が通常読み出し動作で読み出されることにより、最終行までの読み出しを完了する。

図４は、動画撮像の場合等に用いられる読み出し方法で、撮像素子２００の各行を単位画素２１０ごとに混合して（混合読み出し：第２の読み出し動作）で読み出す場合のタイミングチャートである。

まず時刻ｔ２０１〜ｔ２０２の期間では、垂直走査回路２０１によって選択信号ＰＳＥＬｎおよびＰＳＥＬｎ＋２がＨｉとされ、それぞれに対応したｎ行目、ｎ＋２行目の画素１００の選択スイッチ１０６が駆動される。この期間では、垂直信号線１０７に対してｎ行目およびｎ＋２行目の画素１００の信号が出力される。これにより、複数行（所定数の画素）の画素出力が同時選択されて垂直信号線１０７上で混合され、混合信号が生成される。垂直信号線１０７へ出力された信号は、列回路２０５へ入力され、その後、出力端子２０８を介して順次撮像素子２００の外部へ出力される。

次に時刻ｔ２０３〜ｔ２０４の期間では、垂直走査回路２０１によって選択信号ＰＳＥＬｎ＋１およびＰＳＥＬｎ＋３がＨｉとされ、同様にｎ＋１行目およびｎ＋３行目の画素１００の信号が出力される。これにより、複数行の画素出力が同時選択されて垂直信号線１０７上で混合される。なお、この場合は一般的に選択信号ＰＳＥＬｎおよびＰＳＥＬｎ＋２とは異なる単位画素に属する画素が読み出される。

以上が、本実施形態における単位画素２１０の読み出し方法の一例である。以降、同様にしてｎ＋４行目とｎ＋６行目およびｎ＋５行目とｎ＋７行目が混合読み出し動作で読み出されることにより、最終行までの読み出しを完了する。

次に、上述のようにして読み出された混合信号の欠陥補正について説明する。まず、図５を用いて、複数行同時選択による画素混合信号の出力特性について説明する。図５は例として２行（２画素）を同時選択して混合する場合の、２画素の出力差に対する混合出力の線形性を示す模式図である。２つの画素出力が理想的に平均化された場合には、「理想直線」のような出力となる。実際の出力特性は図５のように、入射光量差が小さい領域では混合出力の線形性はほぼ保たれているが、入射光量差が大きい領域では、混合出力の線形性が理想的な直線から大きくずれ、「実際の出力特性」のような曲線となる。
これを画素の欠陥の有無に当てはめて考えると、前者は例えば混合しようとする画素に欠陥が存在しない場合の混合出力に相当し、後者は混合しようとする画素に欠陥（例えば白欠陥）が存在する場合の混合出力に相当する。なおこの線形性に影響を与える要因としては、（１）同時選択する画素混合数、（２）画素アンプ１０５を駆動する定電流回路２０２の電流値、（３）画素アンプ１０５のＭＯＳトランジスタサイズ、（４）ＦＤ１０３の出力電位振幅、等が知られている。

次に、図６は上記で説明した画素混合前後の欠陥座標の対応関係を説明する図である。図６（ａ）が非混合の静止画像に対応し、図６（ｂ）が画素混合した動画像に対応する。例として、ベイヤー配列の４行４列の画素配置に対して、同色の垂直２画素を混合し、２行４列に変換する場合を示す。本実施形態では、図の左上を座標（０，０）と定義し、行番号、列番号に応じて（行，列）のように表わす。

図６（ａ）において非欠陥画素である座標（０，１）の画素ｎと欠陥画素である座標（２，１）の画素ｎ＋２が混合され、読み出される。その結果、図６（ｂ）のように垂直方向が２分の１に低画素化され、混合後の画素が座標（０，１）の混合画素ｎに対応する。

ここで、本実施形態における「欠陥画素データ」について説明する。本実施形態の撮像装置は、あらかじめ図６（ａ）に示す非混合状態の静止画像に対応する欠陥情報を有している。これは、ある条件下での欠陥出力に基づいて「アドレス」と「欠陥レベル」から構成されるものであり、撮像素子２００の製造工程において取得される。本実施形態では、撮像素子２００の欠陥画素情報として、この静止画像に対応する欠陥アドレスと欠陥レベルを有しており、この情報を、図６（ｂ）の混合後の欠陥アドレスと欠陥レベルに変換する。欠陥補正回路２２０はこの情報に従って欠陥補正を実施する。

図７は、本実施形態の欠陥補正回路２２０における欠陥補正方法の一例を説明する図である。図７において、着目する座標（２，３）の画素が補正対象画素である。撮像において、ＴＶ値（蓄積時間）、ＩＳＯ感度、温度などの諸条件と欠陥画素データの欠陥レベルとを比較し、対象画素の補正が必要か否かを判断する。補正が必要と判定された場合、座標（２，３）の補正対象の画素がＧ画素であれば、近傍のベイヤー配列におけるＧ画素である、座標（０，１）、（０，３）、（０，５）、（２，１）、（２，５）、（４，１）、（４，３）、（４，５）の画素の出力平均値などで置き換える。なお参照先の画素の組み合わせ方法、重みづけ方法等はこれに限定されず、最も単純な場合では座標（２，１）の画素の出力値で置き換えるいわゆる前置補間も可能である。

図８は、本実施形態の撮像装置における欠陥画素の画素混合出力レベルと欠陥レベルの考え方を説明する第１の例を示す図である。この例では、静止画像相当の同色の２画素を動画相当の１画素に混合するとき、一方の画素が非欠陥画素（正常画素）であり、他方が欠陥画素（白欠陥）である場合を示す。ここで、非欠陥画素は暗時の出力レベルが概略ゼロとみなせる画素であり、欠陥画素は暗時の出力レベルが正となる画素とする。

混合される画素のうち、一方の出力レベルと他方の出力レベルとに所定値以上のレベル差がある場合、線形性の崩れにより、その２画素の実際の混合出力が理想的な加算平均値に対してより小さくなる。つまり、欠陥の無い画素と欠陥のある画素を混合したとしても、混合結果が欠陥として目立たない場合もある。そのため、従来の理想加算平均を想定した欠陥補正では、白欠陥として目立たない画素であるにもかかわらず、その画素に通常の欠陥補正が施され、過補正となることが考えられる。従って、欠陥画素（白欠陥）と非欠陥画素（正常画素）との出力差がある閾値以上の場合には、混合された後の画素の欠陥レベルは、これらの理想加算平均から想定される欠陥レベルより低いレベルと判定することが望ましい。そして、この判定されたレベルに従って、欠陥補正回路２２０は、混合された後の画素の欠陥を補正する。

図９は本実施形態の撮像装置における欠陥画素の混合出力レベルと欠陥レベルとの考え方を説明する第２の例を示す図である。この例では、静止画像相当の同色の２画素を動画相当の１画素に画素混合するとき、一方の画素が欠陥画素（白欠陥）であり、他方も欠陥画素（白欠陥）である場合を示す。

混合される画素のうち、一方の出力レベルと他方の出力レベルとに所定値以上のレベル差がない場合、線形性の崩れは発生せず、その２画素の実際の混合出力が理想的な加算平均値に対して略同等になる。そのため、従来の理想加算平均を想定した欠陥補正と同等の補正が可能である。従って、欠陥画素（白欠陥）と欠陥画素（白欠陥）との出力差があるしきい値以下の場合には、混合された後の画素の欠陥レベルは、これらの理想加算平均から想定される欠陥レベルと同等のレベルと判定することが望ましい。

図１０は、本実施形態における欠陥レベルと欠陥補正回路２２０の動作を判定する閾値の考え方の一例を示す図である。

まず、本実施形態における欠陥補正システムについて説明する。前述の通り、欠陥画素データはアドレスと欠陥レベルから構成される。欠陥レベルは程度の大きい順にＡからＩまで区分されている。加えて撮像装置は欠陥補正テーブルを持つ。これは、例えばＴＶ値（蓄積時間）に応じてどの欠陥レベルまでを補正対象とするかを表す。この条件はＴＶ値（蓄積時間）に限られるものではなく、ＩＳＯ感度、温度等の諸条件が適用可能である。本実施形態における欠陥補正回路２２０は、上記の欠陥画素データと欠陥補正テーブルとの情報に基づき、欠陥画素の補正の有無を判定し、補正する。

本実施形態における画素の混合を行った後の欠陥レベルを以下の通りとする。混合しようとする画素に欠陥画素が含まれない場合は、混合した後の画素も欠陥画素として登録しない。一方、混合しようとする画素に欠陥画素が含まれる場合は、混合した後の画素は欠陥画素として登録する。この場合の欠陥レベルは、混合しようとする画素に含まれる欠陥画素のレベルと同じにする。

ここで、図１０（ａ）は、画素の混合を行わない非画素混合相当のテーブルを示す図である。また、図１０（ｂ）は、従来の画素混合相当のテーブルを示す図である。さらに、図１０（ｃ）は、画素混合の非線形性を考慮した本実施形態における画素混合相当のテーブルを示す図である。

例えば、図１０の太枠で示した部分に着目する。ここで、欠陥レベル（Ａ，Ｂ，…）とは、Ａが欠陥レベルが一番高く、Ｂ，Ｃ，…とアルファベットが進むにつれて欠陥レベルが低くなる。従来の非画素混合の場合や理想的な加算平均の場合、例えば、図１０（ａ）、図１０（ｂ）に示すように欠陥レベルが高い方（例えばＡなど）から欠陥レベルＦまでを補正対象としていたとする。これに対し、本実施形態においては、図１０（ｃ）に示すように、例えば欠陥レベルが高い方（例えばＡなど）から欠陥レベルＤまでを補正対象とするように欠陥レベルを２段階シフトさせる。つまり、同じＴＶ値でも、欠陥レベルＥ以下（欠陥レベルＥ，Ｆ，Ｇ，…など）は補正対象とならず、補正が実施されにくくなる。

このように画素混合の非線形性を考慮した欠陥補正テーブルを用いることにより、画素混合時の欠陥過補正を防止し、より好適な画質を提供することが可能となる。この欠陥レベルの変更は、画素混合の線形性に依存する要素に応じて決められることが望ましい。例えば、撮像素子２００における（１）同時選択する画素の混合数、（２）画素アンプ１０５を駆動する定電流回路２０２の電流値、（３）画素アンプ１０５のＭＯＳトランジスタサイズ、（４）ＦＤ１０３の出力電位振幅、等である。

＜第２の実施形態＞
第２の実施形態は、第１の実施形態のように欠陥補正テーブルを複数備える代わりに、画素混合の欠陥レベルを変更するものである。

本実施形態における画素の混合を行った場合の欠陥レベルを以下の通りとする。混合しようとする画素に欠陥画素が含まれない場合は、混合した後の画素も欠陥画素として登録しない。一方、混合しようとする画素に欠陥画素が含まれる場合は、混合した後の画素は欠陥画素として登録する。この場合の欠陥レベルは、混合しようとする画素に含まれる欠陥画素の欠陥レベルより低くする。また、混合しようとする画素に欠陥画素が複数含まれる場合は、混合した後の画素の欠陥レベルを、欠陥画素の信号の加算平均値よりも低くする。

図１１は、本実施形態における欠陥補正テーブルを示す図である。本実施形態では、登録する混合した後の画素の欠陥レベルを低くすることで、欠陥補正テーブルを非画素混合と画素混合で共通とする。例えば、図８で示した２画素の混合では、図１１の太枠で図示するように、混合した結果の画素の欠陥レベルを従来の理想加算平均における欠陥レベルＤから、欠陥レベルＦへ２段階引き下げて登録する。これにより、欠陥補正する条件を非画素混合と区別している。

このように、非画素混合における欠陥画素、および画素混合における欠陥画素は、あらかじめ欠陥レベルが登録されている。本実施形態の特徴は、静止画相当の欠陥画素データから各動画駆動モードに応じた混合した後の画素に相当する欠陥画素データ（画素混合相当の欠陥データ）への変換をソフトウェア処理によって行い、撮像装置に記憶させることである。あるいは、撮像装置は、静止画相当の欠陥画素データのみを保持し、それを、各動画駆動モードについて混合した後の画素に相当する欠陥画素データ（画素混合相当の欠陥データ）に撮像装置内で変換することも可能である。

この欠陥レベルの変更は、画素混合の線形性に依存する要素に応じて決められることが望ましい。例えば、撮像素子２００における（１）同時選択する画素混合数、（２）画素アンプ１０５を駆動する定電流回路２０２の電流値、（３）画素アンプ１０５のＭＯＳトランジスタサイズ、（４）ＦＤ１０３の出力電位振幅、等である。例えば、同時選択する混合しようとする画素数が２画素、３画素と多くなるに従い、欠陥レベルを１段階、２段階と引き下げることが望ましい。あるいは、例えば画素アンプ１０５を駆動する定電流回路２０２の電流値が基準値から２倍、３倍と大きくなるに従い、欠陥レベルを１段階、２段階と引き上げることが望ましい。

あるいは、例えば画素アンプ１０５のＭＯＳトランジスタサイズにおいて、ＭＯＳのＷが基準値から２倍、３倍と大きくなるに従い、欠陥レベルを１段階、２段階と引き下げることが望ましい。一方、ＭＯＳのＬが基準値から２倍、３倍と大きくなるに従い欠陥レベルを１段階、２段階と引き上げることが望ましい。あるいは、例えばＦＤ１０３の出力電位振幅を決めるＦＤ１０３の容量が基準値から２倍、３倍と大きくなるに従い、欠陥レベルを１段階、２段階と引き上げることが望ましい。

図１２は、本実施形態における欠陥レベルの判定シーケンスを示すフローチャートである。この図は、撮像装置の製造工程において静止画相当の欠陥画素データから混合した後の画素の欠陥データ（画素混合相当の欠陥データ）をソフトウェア処理によって作成し、撮像装置に記憶させる例を示している。同様のシーケンスを撮像装置内部で実行できるようにしてもよい。

図１２（ａ）において、ステップＳ１２０１では、動画像における画素の混合情報を取得する。例えばフルハイビジョン（ＦＨＤ）、４Ｋ等の撮影条件に応じた画素混合数（および間引き画素数）、定電流回路２０２の電流値、画素アンプ１０５のＭＯＳトランジスタサイズ、ＦＤ１０３の出力電位振幅等の線形性に寄与する要因がこれに該当する。

ステップＳ１２０２では、静止画像に対応する欠陥画素データを取得する。ステップＳ１２０３では、単位画素２１０内で混合される画素の組み合わせを決定する。図２の例を用いれば、画素１００＿ｎ、１００＿ｎ＋２の垂直２画素がこれに該当する。

ステップＳ１２０４では、ステップＳ１２０３で決定した混合しようとする画素に該当する欠陥画素データを静止画相当の欠陥画素データから取得し、メモリに格納する。ステップＳ１２０５では、単位画素２１０内に欠陥画素が含まれるかを判定し、含まれない場合は該当単位画素２１０の判定をスキップする。

ステップＳ１２０６では、ステップＳ１２０４までに取得した欠陥画素データに基づいて混合した後の画素の欠陥レベルの判定を行う。このシーケンスの詳細は図１２（ｂ）を用いて後述する。ステップＳ１２０７では、ステップＳ１２０６で決定された混合した後の画素に相当する欠陥レベルを出力する。

ステップＳ１２０８では、撮像素子２００の所定の画像領域をすべて欠陥判定したか否かを判定する。ステップＳ１２０９では、ステップＳ１２０８までに判定が行われた全単位画素２１０の欠陥画素データを撮像装置に保存することで一連の動作を終了する。

続いて、前述したステップＳ１２０６における欠陥レベルの判定の内容について説明する。図１２（ｂ）において、ステップＳ１２１０では単位画素２１０内の欠陥画素の出力レベル（白欠陥に相当）が所定値１より大きいかどうかを判定する。これが所定値１より大きければステップＳ１２１１に進み、小さければステップＳ１２１２に進む。

ステップＳ１２１１では、単位画素２１０の欠陥レベル（混合した後の画素の欠陥レベルに相当）を混合しようとする画素の加算平均値より低いレベルとして出力する。具体的には、例えば、加算平均値が欠陥レベルＤに相当すれば、欠陥レベルＦへ２段階引き下げて登録する。

なお本実施形態では、欠陥レベルをＡからＩまで区分しているが、画素信号の加算平均値からの引き上げまたは引き下げの程度は、定電流回路２０２の電流値等に依存する線形性に応じて適宜行われる。

ステップＳ１２１２では、単位画素の欠陥レベルを、混合しようとする画素の信号の加算平均値と同等のレベルとして出力する。具体的には、加算平均値が欠陥レベルＦに相当すれば、欠陥レベルＦとして登録する。以上のように決定した単位画素の欠陥レベルを記憶し、ステップＳ１２０７へリターンする。

ところで、上記で説明した所定値とは、ショットノイズなどの統計的なばらつきと画素の混合出力の線形性のずれの程度を考慮した補正判定のしきい値である。この値は、線形性のずれの定量的な演算により決められていてもよいし、欠陥補正の条件が変更されることによる画質への影響を実画像で確認することによって決められてもよい。この閾値は撮影条件等によって異なる値を持つことでより好適な補正が可能となる。特に、単位画素２１０内の画素の混合数とその相対的な位置関係等に応じて変化させることが望ましい。

このように、本実施形態によれば、画素混合における欠陥画素の欠陥レベルを線形性に応じて最適化することで、撮像素子２００の製造工程における欠陥画素データの抽出タクトを削減できるとともに、画素混合時の画像品質を向上させることが可能となる。

以上、本発明の好ましい実施形態について説明したが、本発明は、これらの形態に限定されるものではなくその要旨の範囲内で変形が可能である。例えば本発明は、行方向の垂直線画素混合だけでなく、列方向の垂直出力線を同時選択することによる画素混合にも適用可能である。

（その他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

１００：画素、１０１：フォトダイオード（ＰＤ）、１０２：転送スイッチ、１０３：フローティングディフュージョン（ＦＤ）、１０４：リセットスイッチ、１０５：画素アンプ、１０６：選択スイッチ、１０７：垂直信号線、２００：撮像素子、２１０：単位画素、２２０：欠陥補正回路

Claims (17)

1. 行方向および列方向に配置された複数の画素を有する撮像素子と、
   前記複数の画素のうちの所定数の画素の信号を混合した混合信号を、前記所定数の画素に対応する１つの混合画素の信号として生成するように前記撮像素子を駆動する駆動手段と、
   欠陥情報に基づいて、前記撮像素子から出力された信号の欠陥補正を行う補正手段と、を備え、
   前記欠陥情報は、前記複数の画素の欠陥レベルの情報と、前記混合画素の欠陥レベルの情報を含み、
   前記混合画素の欠陥レベルは、当該混合画素に対応する前記所定数の画素に欠陥画素が含まれ、かつ、前記所定数の画素の信号の出力差として所定の閾値以上となる出力差が存在する場合には、前記所定数の画素に含まれる画素の信号の平均値よりも低いレベルに設定されていることを特徴とする撮像装置。
2. 行方向および列方向に配置された複数の画素を有する撮像素子と、
   前記複数の画素のうちの所定数の画素の信号を混合した混合信号を、前記所定数の画素に対応する１つの混合画素の信号として生成するように前記撮像素子を駆動する駆動手段と、
   欠陥情報に基づいて、前記撮像素子から出力された信号の欠陥補正を行う補正手段と、を備え、
   前記欠陥情報は、前記複数の画素の欠陥レベルの情報と、前記混合画素の欠陥レベルの情報を含み、
   前記混合画素の欠陥レベルは、当該混合画素に対応する前記所定数の画素に欠陥画素が含まれ、かつ、前記所定数の画素の信号の出力差として所定の閾値以上となる出力差が存在する場合には、前記所定数の画素に含まれる欠陥画素の信号の平均値よりも低いレベルに設定されていることを特徴とする撮像装置。
3. 前記混合画素の欠陥レベルは、当該混合画素に対応する前記所定数の画素に、前記所定数の画素の信号の出力差として前記所定の閾値以上となる出力差が存在しない場合は、前記所定数の画素に含まれる欠陥画素の信号の平均値と同等のレベルに設定されていることを特徴とする請求項１または２に記載の撮像装置。
4. 行方向および列方向に配置された複数の画素を有する撮像素子と、
   前記複数の画素のうちの所定数の画素の信号を混合した混合信号を、前記所定数の画素に対応する１つの混合画素の信号として生成するように前記撮像素子を駆動する駆動手段と、
   欠陥情報に基づいて、前記撮像素子から出力された信号の欠陥補正を行う補正手段と、を備え、
   前記欠陥情報は、前記複数の画素の欠陥レベルの情報と、前記混合画素の欠陥レベルの情報を含み、
   前記混合画素の欠陥レベルは、当該混合画素に対応する前記所定数の画素に、欠陥レベルが所定の閾値よりも大きい欠陥画素が含まれる場合は、前記所定数の画素に含まれる画素の信号の平均値よりも低いレベルに設定されていることを特徴とする撮像装置。
5. 前記混合画素の欠陥レベルは、当該混合画素に対応する前記所定数の画素に、欠陥レベルが前記所定の閾値よりも大きい欠陥画素が含まれない場合は、前記所定数の画素に含まれる欠陥画素の信号の平均値と同等のレベルに設定されていることを特徴とする請求項４に記載の撮像装置。
6. 前記混合画素の欠陥レベルを決定する決定手段をさらに有することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記決定手段は、前記所定数の画素に欠陥画素が存在しない場合に、前記混合画素を欠陥画素ではないと判定し、前記所定数の画素に欠陥画素が１つ以上ある場合に、前記混合画素を欠陥画素と判定し、前記欠陥レベルを決定することを特徴とする請求項６に記載の撮像装置。
8. 前記撮像素子の前記複数の画素のそれぞれの列には垂直出力線が設けられており、
   前記所定の閾値は、前記垂直出力線を駆動する電流値に応じて決定されることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記所定の閾値は、前記所定数の画素の画素数に応じて決定されることを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 前記画素はＭＯＳトランジスタによるソースフォロア回路を有し、前記所定の閾値は、前記ＭＯＳトランジスタのサイズに応じて決定されることを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 前記画素はフローティングディフュージョンを有し、前記所定の閾値は、前記フローティングディフュージョンの容量または電位振幅に応じて決定されることを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
12. 前記所定数の画素はそれぞれ同色のカラーフィルタを有する画素であることを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。
13. 行方向および列方向に配置された複数の画素を有する撮像素子を備える撮像装置の制御方法であって、
    前記複数の画素のうちの所定数の画素の信号を混合した混合信号を、前記所定数の画素に対応する１つの混合画素の信号として生成するように前記撮像素子を駆動する駆動工程と、
    欠陥情報に基づいて、前記撮像素子から出力された信号の欠陥補正を行う補正工程と、を有し、
    前記欠陥情報は、前記複数の画素の欠陥レベルの情報と、前記混合画素の欠陥レベルの情報を含み、
    前記混合画素の欠陥レベルは、当該混合画素に対応する前記所定数の画素に欠陥画素が含まれ、かつ、前記所定数の画素の信号の出力差として所定の閾値以上となる出力差が存在する場合には、前記所定数の画素に含まれる画素の信号の平均値よりも低いレベルに設定されていることを特徴とする撮像装置の制御方法。
14. 行方向および列方向に配置された複数の画素を有する撮像素子を備える撮像装置の制御方法であって、
    前記複数の画素のうちの所定数の画素の信号を混合した混合信号を、前記所定数の画素に対応する１つの混合画素の信号として生成するように前記撮像素子を駆動する駆動工程と、
    欠陥情報に基づいて、前記撮像素子から出力された信号の欠陥補正を行う補正工程と、を有し、
    前記欠陥情報は、前記複数の画素の欠陥レベルの情報と、前記混合画素の欠陥レベルの情報を含み、
    前記混合画素の欠陥レベルは、当該混合画素に対応する前記所定数の画素に欠陥画素が含まれ、かつ、前記所定数の画素の信号の出力差として所定の閾値以上となる出力差が存在する場合には、前記所定数の画素に含まれる欠陥画素の信号の平均値よりも低いレベルに設定されていることを特徴とする撮像装置の制御方法。
15. 行方向および列方向に配置された複数の画素を有する撮像素子を備える撮像装置の制御方法であって、
    前記複数の画素のうちの所定数の画素の信号を混合した混合信号を、前記所定数の画素に対応する１つの混合画素の信号として生成するように前記撮像素子を駆動する駆動工程と、
    欠陥情報に基づいて、前記撮像素子から出力された信号の欠陥補正を行う補正工程と、を有し、
    前記欠陥情報は、前記複数の画素の欠陥レベルの情報と、前記混合画素の欠陥レベルの情報を含み、
    前記混合画素の欠陥レベルは、当該混合画素に対応する前記所定数の画素に、欠陥レベルが所定の閾値よりも大きい欠陥画素が含まれる場合は、前記所定数の画素に含まれる画素の信号の平均値よりも低いレベルに設定されていることを特徴とする撮像装置の制御方法。
16. 請求項１３乃至１５のいずれか１項に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
17. 請求項１３乃至１５のいずれか１項に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images