JP5968025B2 - 撮像装置及び撮像装置の制御方法 - Google Patents

Description

本発明は、イメージセンサ等の固体撮像素子を用いた撮像装置及び撮像装置における欠陥画素の処理方法に関するものである。

近年の撮像装置においては、ＣＣＤやＣＭＯＳセンサ等に代表される固体撮像素子の多画素化が進んでいる。これに伴い、撮像素子上の欠陥画素（キズ）の発生個数も多くなっている。欠陥画素の中には撮像素子の製造過程で発生する製造キズや、撮像装置に組み込んだ後に発生する成長キズがある。さらに、成長キズの中には、撮像装置の温度によって使用中に増減する温度特性依存キズがある。これらの欠陥画素の内、製造キズに対しては、工場出荷時に黒画像を撮影して、あらかじめ欠陥画素の位置を検出して補正する方法がとられている。また、成長キズに対しては、電源投入時に強制的に撮像素子を遮光するなどして黒画像を撮影し、欠陥画素を検出して補正することができる。しかしながら、上述した方法では、撮像装置の使用中にその温度変化により発生した温度特性依存キズを検出することができない。

一方、特許文献１には、撮像して得た画像から欠陥画素を検出し、補正する方法について開示している。この特許文献１の方法では、各画素の輝度を周辺画素の輝度と比較することで、一定レベル差以上の輝度を有する画素を白キズとして判定している。

特開２００４−０１５１９１号公報

しかしながら、特許文献１に記載されている方法では、測距用画素を持つ撮像素子の出力において、測距用画素の出力値が撮像用画素の出力値との差が大きいため、測距用画素の出力値を画素欠陥として認識し、補正してしまうといった問題がある。

上記課題に鑑み、本発明の目的は、測距用画素の出力を保持したまま画素欠陥を補正し、測距演算の精度を落とすことなく良好な画像を出力することを可能にした撮像装置及び撮像装置の制御方法を提供することである。

上記目的を達成するために、本発明は、特定画素を含む複数種類の画素が配列される撮像素子と、前記撮像素子内の各画素の画素値に基づいて欠陥画素を検出する検出手段と、を有し、前記検出手段は、前記撮像素子内の前記特定画素の位置を示す情報に基づいて前記特定画素を前記欠陥画素の対象から外すことを特徴とする撮像装置を提供する。

本発明によれば、撮像用画素と性質が異なる画素を持つ撮像素子の出力について、当該画素の出力を保持したまま画素欠陥を補正することを可能にする。

第１、第２の実施形態による撮像装置の構成を示すブロック図である。 第１、第２の実施形態によるキズ処理回路の構成を示すブロック図である。 第１の実施形態によるデータ配列を示す図である。 第１の実施形態による撮像装置の動作を示すフローチャートである。 第１の実施形態による画像データ配列とキズ情報を示す図である。 第１の実施形態による画像データ配列とキズ情報を示す図である。 第１の実施形態による画像データ配列とキズ情報を示す図である。 第１の実施形態による画像データ配列とキズ情報を示す図である。 第１の実施形態による画像データ配列とキズ情報を示す図である。 第２の実施形態によるキズ補正回路の構成を示すブロック図である。 第２の実施形態によるデータ配列を示す図である。 第１、第２の実施形態における測距用画素の構成例を示す図である。

（第１の実施形態）
図１は本実施形態に係る撮像装置の構成を示した図である。撮像素子１００は１１１〜１１９からなる光学系を通して受光される光学像を電気信号（アナログ信号、つまり、画像信号）に変換する。撮像素子１００から出力されたアナログ信号は、アナログフロントエンド（ＡＦＥ）１０２でゲインが調整されるとともに、所定の量子化ビットに応じてデジタル信号（画像データ）に変換される。なお、撮像素子１００およびＡＦＥ１０２はタイミングジェネレータ（ＴＧ）１０１によって駆動タイミングが制御される。

ＲＡＭ１０７は、ＡＦＥ１０２から出力される画像データおよび後述する画像処理部１０８で処理された画像データを記憶するためのメモリ（画像メモリ）であり、さらに、ＲＡＭ１０７は後述するＣＰＵ１０３によってワークメモリとしても用いられる。なお、ここでは、画像メモリおよびワークメモリとしてＲＡＭ１０７を用いているが、アクセス速度が問題ないレベルのメモリであれば、他のメモリを用いるようにしてもよい。

ＲＯＭ１０５には、ＣＰＵ１０３上で動作するプログラムが格納される。図示の例では、ＲＯＭ１０５としてフラッシュＲＯＭが用いられるが、アクセス速度が問題ないレベルのメモリであれば、フラッシュＲＯＭ以外の他のメモリを用いるようにしてもよい。

ＣＰＵ１０３は、各部を統括的に制御する。画像処理部１０８は撮影の結果得られた画像データに対してホワイトバランス処理、補間処理（デモザイキング処理）、現像処理、ガンマ処理、歪補正処理などの画像処理や圧縮、符号化等の処理を行う。また、後述する画像補正部２００を含む。

記録部１０９は、例えば、不揮発性メモリ又はハードディスクである。記録部には、例えば、静止画像データおよび動画像データが記録される。

図示の例では、記録部１０９が撮像装置に含まれているが、コネクタを介して着脱可能な不揮発性メモリ又はハードディスク等の記録媒体でもよい。

操作部１０４は撮影命令および撮像条件等の設定をＣＰＵ１０３に対して行う際に用いられる。表示部１０６はＣＰＵ１０３の制御下で撮影の結果得られた静止画像、動画像、およびメニュー等の表示を行う。

第１レンズ群１１９は撮影光学系（結像光学系）の先端に配置され、光軸方向に進退可能に保持され、光軸方向の進退により、焦点調節を行う。絞り１１８はその開口径を調節することで撮影時の光量調節を行う。絞り１１８及び第２レンズ群１１７は一体となって光軸方向に進退し、前記第１レンズ群１１９の進退動作との連動により、変倍作用（ズーム機能）をなす。

フォーカルプレーンシャッタ１１１は静止画撮影時に露光秒時を調節する。本実施形態ではフォーカルプレーンシャッタ１１１にて撮像素子１００の露光秒時を調節する構成であるが、この限りではない。撮像素子１００が電子シャッタ機能を有し、制御パルスで露光秒時を調節する構成でもよい。

フォーカス駆動回路１１２は、ＡＦ演算部１１０の焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動制御し、第１レンズ群１１６を光軸方向に進退駆動して焦点調節を行なう。絞り駆動回路１１３は絞りアクチュエータ１１５を駆動制御して絞り１１８の開口を制御する。

図２は、図１に示す画像処理部１０８内のキズ（画素欠陥）処理回路の構成を示す図である。

１０８ａはキズ処理回路であり、キズ検出回路１０８ｂ、キズ補正回路１０８ｃで構成される。画像データは行単位で、水平方向に順に入力される。注目行であるｍ行目と、ｍ−１行目・ｍ＋１行目の画像データがキズ処理回路１０８ａに入力されると、そのデータはキズ検出回路１０８ｂに入力され、キズ検出回路１０８ｂにて画像データからキズ画素を検出し、画素がキズであることを示すキズ情報がキズ補正回路１０８ｃに入力される。

キズ検出回路１０８ｂは図２（ｂ）に示す構成になっている。

図３（ａ）に示す画素がキズ検出部１０８ｊに入力されると、キズ検出をする対象画素がＡ５となる。対象画素Ａ５の周辺画素であるＡ１、Ａ２、Ａ３、Ａ４、Ａ６、Ａ７、Ａ８、Ａ９の画素値の中心値（代表値）を算出する。算出された中心値とＡ５の画素値の差分を算出し、その差が所定の値以上であった場合にはキズと認識し、キズ情報を出力する。キズ情報は、キズと認識した場合には‘１’を出力し、一致しない場合には‘０’を出力する。このとき、例えば測距用に設けられた画素などは通常の画素構成と異なるため、画素そのものはキズでなく正常であっても、他の通常の画素との差が所定の値以上になってしまう場合が考えられる。そこで本実施形態では、予め設定された画素位置一致情報を用いて、測距用の画素であることを特定し、画素値がキズとして補正されてしまうことを防ぐ。

画素位置一致情報の生成を以下に説明する。１０８ｄは画像の水平方向画素数をカウントする画像水平カウンタである。１０８ｅは画像の垂直方向画素数をカウントする画像垂直カウンタである。１０８ｆは領域指定回路である。画像水平カウンタ１０８ｄから出力される画像水平カウント値と、画像垂直カウンタ１０８ｅから出力される画像垂直カウント値、ＣＰＵ１０３が設定する領域開始位置と領域終了位置を参照し、特定画素が存在する領域を示す領域情報を出力する。領域情報は、入力された画像データの位置が領域開始位置・終了位置で指定される領域内にある場合に‘１’となり、領域外にある場合には‘０’となる。１０８ｇ・１０８ｈはそれぞれブロック水平カウンタ・ブロック垂直カウンタである。領域指定回路１０８ｆから出力される測距領域情報が‘１’の時、水平・垂直画素数をそれぞれカウントする。ブロック水平カウンタ１０８ｇはＣＰＵ１０３が設定する水平リセット値に基づき、所定の周期でブロック水平カウント値をリセットする。また、ブロック垂直カウンタ１０８ｈはＣＰＵ１０３が設定する垂直リセット値に基づき、所定の周期でブロック垂直カウント値をリセットする。この動作により、領域内を所定の大きさの領域（ブロック）で分割することとなる。画素位置一致回路１０８ｉは、前述したブロック水平カウント値・ブロック垂直カウント値、ＣＰＵ１０３が設定する複数個の画素位置を参照する。画素位置は、ブロック内での水平位置・垂直位置情報を含む。ブロック水平カウント値・ブロック垂直カウント値が設定した画素位置のいずれかと一致した場合、画素位置一致情報として‘１’を出力する。一致しない場合には‘０’を出力する。

特定画素とは、本実施形態では測距用の画素であるが、もちろん別の用途でも構わない。

キズ情報生成回路１０８ｋの構成を図２（ｃ）に示す。キズ情報生成回路１０８ｋでは、上述したキズ検出部１０８ｊからのキズ情報と、画素位置指定回路１０８ｉからの画素一致情報を参照する。図３（ｂ）に示す様に、該当画素がキズ検出部１０８ｊからのキズ情報が‘１’の時、画素位置一致情報が‘０’の場合は‘１’を出力し、画素位置一致情報が‘１’の場合は‘０’のキズ情報を出力する。すなわち、ある画素位置の画素がキズと判定されていても、その画素位置が予め設定された画素位置である場合にはキズ情報として‘０’を出力する。

キズ補正回路１０８ｃでは、ｍ−１〜ｍ＋１行目の画像データと、キズ検出回路１０８ｂから出力されるキズ情報が入力され、対象画素Ａ５の周辺画素であるＡ１、Ａ２、Ａ３、Ａ４、Ａ６、Ａ７、Ａ８、Ａ９の画素値の平均値を算出する。対象画素Ａ５のキズ情報が‘１’の場合は、Ａ５の画素値を算出した平均値と置き換え、データを出力する。キズ情報が‘０’の場合は、Ａ５の画素値をそのまま出力する。

上述した動作により、予め設定（指定）された画素位置はキズ補正されず、他のキズだけ補正することができる。

なお、本実施形態では位置を指定した画素はキズ検出の対象から除外する例を述べたが、キズ検出をする際に対象画素の周囲の画素に位置を指定された画素が含まれていた場合には、中心値の算出に特定画素は使用しない構成も考えられる。また、中心値の算出時に、特定画素の画素値の重みづけを特定画素以外の画素に比べて低くする、等の処理を付加してもよい。

次に本実施形態における撮像装置の動作について説明する。図４は本実施形態における撮像装置の動作を示すフローチャートである。

操作部１０４にて撮影が開始されると、ステップＳ１００にてＣＰＵ１０３は撮像素子１００、ＴＧ１０１、ＡＦＥ１０２に対して、表示部１０６と操作部１０４にて予め設定されている動画の動作モード（第１のモード）に従って、設定を行う。

なお、本実施形態における撮像素子１００内には複数種類の画素が配列されている。記録画像用に用いる通常の画素が例えばＲ，Ｇ、Ｂで配され、さらに測距用画素が離散的かつ周期的に配置されている。全画素読出し、画素加算、画素間引き、クロップといった動作モードにより、撮像素子１００から出力される画像データに対する測距用画素の位置は変化する構成となっている。第１のモードは全画素読出しモードであり、図５（ａ）に示す斜線部の画素（画像垂直カウンタ値・画像水平カウンタ値（Ｖ、Ｈ）が（３、３）、（３、８）、（３、１５）…の画素）が測距用画素であるとする。

ステップＳ１０１では上述した測距用画素位置を指定する設定をキズ検出部１０８ｄに対して行う。ＣＰＵ１０３は、領域開始位置を（２、２）、領域終了位置を（１９、２５）に設定する。また、ブロック水平カウンタの水平リセット値を１１に、ブロック垂直カウンタの垂直リセット値を５に設定する。その後、画素位置情報としてブロック水平カウンタ値・ブロック垂直カウンタ値（Ｖｂ、Ｈｂ）が（１、１）、（１、６）、（４、３）、（４、１０）を設定し、第１のモードの測距画素位置を指定する。 次にステップＳ１０２にて画像データの読出しを開始する。撮像素子から読み出された画像データはＡＦＥ１０２にてＡＤ変換され、ＲＡＭ１０７に格納された後に、画像処理部１０８へ入力される。画像処理部１０８に入力された画像データは、キズ処理回路１０８ａにて前述した処理によりキズ補正が行われる。

キズ検出部１０８ｂに画像が入力されると、設定された領域開始位置（２、２）・領域終了位置（１９、２５）に基づき、領域指定回路１０８ｆから領域情報（‘１’）が出力される。この領域が測距領域となる。領域情報に基づき、ブロック水平カウンタ１０８ｇ、ブロック垂直カウンタ１０８ｈが動作する。設定された水平リセット値１１、垂直リセット値５に基づき、測距領域が図５（ｂ）に示すように、水平１２画素周期、垂直６画素周期のブロックに分割されることとなる。画素位置指定回路１０８ｉはブロック水平カウント値と垂直ブロックカウント値を参照し、設定された画素位置情報（１、１）、（１、６）、（４、３）、（４、１０）に一致する画素について、画素位置一致情報‘１’を出力する。その結果を図６（ａ）に示す。図６（ａ）には測距用画素に対応する画素位置で画素位置一致情報が‘１’になっていることが示されている。

例えば、図５（ａ）に示す（６、３）、（１２、２１）の画素がキズ画素であった場合、キズ検出部１０８ｊは図６（ｂ）に示すキズ情報を出力する。本実施例では測距画素が全てキズとして検出されてしまうとする。キズ画素である（６、３）、（１２、２１）の画素位置と、測距用画素に対応する画素位置にて‘１’になっている。このキズ情報と画素位置一致情報がキズ情報生成回路１０８ｋに入力さる。画素位置一致情報にて‘１’になっている画素はキズ情報から除外され、（６、３）、（１２，２１）だけがキズとして‘１’になっているキズ情報が出力される（図７（ａ））。キズ情報生成回路１０８ｋから出力されるキズ情報に基づき、キズ補正回路１０８ｃでは（６、３）、（１２、２１）に位置する画素だけがキズ補正された画像が出力され、測距用画素は補正されずに出力される（図７（ｂ））。上記の動作により、測距用画素はキズ補正対象から除外され、キズ画素のみ補正されてキズ処理回路１０８ａから出力される。

ステップＳ１０３では、画像データは画像処理部１０８からＡＦ演算部１１０に入力され、測距用画素を使用して所定の演算を行ってピントのずれ量を算出する。ＡＦ演算部１１０はフォーカス駆動回路１１２に算出したピントのずれ量を出力する。フォーカス駆動回路１１２はＡＦ演算部１１０から取得したずれ量に基づき第１レンズ群１１６を動かす量を算出し、フォーカスアクチュエータ１１４に駆動命令を出力する。第１レンズ群１１６はフォーカスアクチュエータ１１４によりピントが合う位置まで移動され、撮像素子１００にてピントが合った状態となる。

ステップＳ１０４では、画像処理部１０８において、キズ処理回路１０８ａによる上述したキズ補正処理やその他の画像処理が行われ、記録部１０９に動画像として記録される。

その後ステップＳ１０４にて撮影が終了しているかを判定し、撮影が終了していた場合には撮影終了となる。撮影が終了していない場合にはステップＳ１０５に進む。

ステップＳ１０５では動作モードが変更されているかを判断し、変更されていない場合にはステップＳ１０２に戻り、画像データの読出し以降の動作を繰り返す。動作モードが変更されていた場合（第２の動作モード）は、ステップＳ１００にてＣＰＵ１０３は撮像素子１００、ＴＧ１０１、ＡＦＥ１０２に対して第２のモードに対応した設定を行う。
第２のモードは１／３間引きモードであり、画素配列の水平・垂直方向それぞれ、１／３に間引かれた画素データが撮像素子１００から出力される。図８（ａ）に示す斜線部の画素（画像垂直カウンタ値・画像水平カウンタ値（Ｖ、Ｈ）が（１、１）、（１、５）、（２、４）…の画素）が測距用画素であるとする。

ステップＳ１０１では上述した測距用画素位置を指定する設定をキズ検出部１０８ｂに対して行う。ＣＰＵ１０３は、領域開始位置を（１、１）、領域終了位置を（６、８）に設定する。また、ブロック水平カウンタの水平リセット値を７に、ブロック垂直カウンタの垂直リセット値を１に設定する。その後、画素位置情報としてブロック水平カウンタ値・ブロック垂直カウンタ値（Ｖｂ、Ｈｂ）が（０、０）、（０、４）、（１、３）、（１、７）を設定し、第２のモードの測距画素位置を指定する。 次にステップＳ１０２にて画像データの読出しを開始する。撮像素子から読み出された画像データはＡＦＥ１０２にてＡＤ変換され、ＲＡＭ１０７に格納された後に、画像処理部１０８へ入力される。画像処理部１０８に入力された画像データは、キズ処理回路１０８ａにて前述した処理によりキズ補正が行われる。

画像処理部１０８に画像が入力されると、設定された領域開始位置（１、１）・領域終了位置（６、８）に基づき、領域指定回路１０８ｆから領域情報（‘１’）が出力される。この領域が測距領域となる。領域情報に基づき、ブロック水平カウンタ１０８ｇ、ブロック垂直カウンタ１０８ｈが動作する。設定された水平リセット値７、垂直リセット値１に基づき、測距領域が図８（ｂ）に示すように、水平８画素周期、垂直２画素周期のブロックに分割されることとなる。画素位置指定回路１０８ｉはブロック水平カウント値と垂直ブロックカウント値を参照し、設定された画素位置情報（０、０）、（０、４）、（１、３）、（１、７）に一致する画素について、画素位置一致情報‘１’を出力する。その結果を図８（ｃ）に示す。図８（ｃ）には測距用画素に対応する画素位置で画素位置一致情報が‘１’になっていることが示されている。

例えば、図８（ａ）に示す（２、１）、（４、７）の画素がキズ画素であった場合、キズ検出部１０８ｊは図８（ｄ）に示すキズ情報を出力する。本実施例では測距画素が全てキズとして検出されてしまうとする。キズ画素である（２、１）、（４、７）の画素位置と、測距用画素に対応する画素位置にて‘１’になっている。このキズ情報と画素位置一致情報がキズ情報生成回路１０８ｋに入力さる。画素位置一致情報にて‘１’になっている画素はキズ情報から除外され、（（２、１）、（４、７）だけがキズとして‘１’になっているキズ情報が出力される（図９（ａ））。キズ情報生成回路１０８ｋから出力されるキズ情報に基づき、キズ補正回路１０８ｃでは（２、１）、（４、７）に位置する画素だけがキズ補正された画像が出力され、測距用画素は補正されずに出力される（図９（ｂ））。上記の動作により、測距用画素はキズ補正対象から除外され、キズ画素のみ補正されてキズ処理回路１０８ａから出力される。

その後ステップＳ１０３以降の動作を上述した動作と同様に行う。

上記の様に、読出し動作モード毎に測距領域、測距用画素周期、測距用画素位置を指定し画像のキズ検出を行うことで、測距画素データがキズ補正に適用されることなく、測距情報を適切に抽出することができる。これによりＡＦ演算精度を落とすことなく、良好な画像を提供することができる。

本実施形態の構成によると、各動作モード別に全ての測距用画素の位置情報を持つのではなく、各モードにおける測距用画素位置の周期を情報として持つ。測距用画素位置を示すデータ量を削減することができ、データを格納するメモリの削減ができる。

また、各動作モードにおける全ての測距用画素の位置情報を持つ構成でもよい。さらには、全画素読出しを行う際の測距用画素の位置情報を持ち、間引き等の各モードにおいては位置情報を加工して適用する、等の構成でもよい。

（第２の実施形態）
本実施形態では、キズ検出対象、キズ補正対象となっている画素から画素位置一致情報を用いて特定する特定画素を除くだけでなく、キズ補正値の算出の際にも特定画素の画素値を除外する。

本実施形態における撮像装置の構成は、第１の実施形態で説明した撮像装置と同様の構成のため、説明を省略する。また、撮影から記録までの撮像装置の動作も第１の実施形態と同様の図４のフローで動作するため、説明を省略する。第１の実施形態と異なる処理はキズ補正処理であり、それを実現するためのキズ補正回路１０８ｃである。

図１０（ａ）に本実施形態におけるキズ補正回路１０８ｃの構成を示す。キズ補正回路１０８ｃは、キズ補正部２０１、画素位置指定回路２００にて構成される。

キズ補正部２０１では、図１１（ａ）に示す画素が入力されると、キズ補正をする対象画素はＢ５となる。対象画素Ｂ５の周辺画素であるＢ１、Ｂ２、Ｂ３、Ｂ４、Ｂ６、Ｂ７、Ｂ８、Ｂ９の画素値の平均値を算出する。算出された平均値と画像データとして出力する。

画素位置指定回路２００の動作を以下に説明する。図１０（ｂ）に画素位置指定回路２００の構成を示す。２００ａは画像の水平方向画素数をカウントする画像水平カウンタである。２００ｂは画像の垂直方向画素数をカウントする画像垂直カウンタである。２００ｃは領域指定回路である。画像水平カウンタ２００ａから出力される画像水平カウント値と、画像垂直カウンタ２００ｂから出力される画像垂直カウント値、ＣＰＵ１０３が設定する領域開始位置と領域終了位置を参照し、特定画素が存在する領域を示す領域情報を出力する。領域情報は、入力された画像データの位置が領域開始位置・終了位置で指定される領域内にある場合に‘１’となり、領域外にある場合には‘０’となる。２００ｄ・２００ｅはそれぞれブロック水平カウンタ・ブロック垂直カウンタである。領域指定回路２００ｃから出力される測距領域情報が‘１’の時、水平・垂直画素数をそれぞれカウントする。ブロック水平カウンタ２００ｄはＣＰＵ１０３が設定する水平リセット値に基づき、所定の周期でブロック水平カウント値をリセットする。また、ブロック垂直カウンタ２００ｅはＣＰＵ１０３が設定する垂直リセット値に基づき、所定の周期でブロック垂直カウント値をリセットする。この動作により、領域内を所定の大きさの領域（ブロック）で分割することとなる。画素位置一致回路２００ｆは、前述したブロック水平カウント値・ブロック垂直カウント値、ＣＰＵ１０３が設定する複数個の画素位置を参照する。画素位置は、ブロック内での水平位置・垂直位置情報を含む。ブロック水平カウント値・ブロック垂直カウント値が画素位置のいずれかと一致した場合、画素位置一致情報として‘１’を出力する。一致しない場合には‘０’を出力する。特定画素とは、本実施形態では測距用の画素であるが、もちろん別の用途でも構わない。

本実施例においては、各動作モードでなされる画素位置指定回路２００への設定は、実施例１にて領域指定回路１０８ｆ、ブロック水平カウンタ１０８ｇ、ブロック垂直カウンタ１０８ｈ、画素位置一致回路１０８ｉになされる設定と同じである。これにより、補正対象画素が含まれるｍ行目のデータが入力された時の、ｍ−１行目とｍ＋１行目の画像データにおける測距用画素の位置をキズ補正部２０１へ通知することができる。

キズ補正部２０１内はパイプライン処理になっており、補正対象画素の左右の画像データを参照することができる。キズ補正部２０１には実施例１で述べた画素位置一致回路１０８ｉから出力された画素位置一致情報が入力され、対象画素の左右が測距用画素であるかが通知される。

キズ補正部２０１では、平均値を算出するための周辺画素の画素位置指定回路２００から出力された画素位置一致情報が‘０’の場合は前述した様に周辺画素全てを使用して平均値を算出する。一方、周辺画素についての画素位置一致情報が‘１’の場合は、その画素は平均値の算出に含めない。図１１（ｂ）に示す画素データが入力されるとすると、キズ補正対象画素はＣ５である。画素Ｃ７の画素位置一致情報が‘１’の場合には、Ｃ５の補正値としての平均値は、Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｃ６、Ｃ８、Ｃ９の平均値となる。

なお、本実施形態では位置を指定した画素はキズ補正の補正値算出から除外する例を述べた。しかし、キズを補正する際に対象画素の周辺画素に位置を指定された画素が含まれていた場合には、平均値の算出時に、特定画素の画素値の重みづけを特定画素以外の画素に比べて低くする加重平均を行う構成も考えられる。また、補正時に、特定画素がキズ補正対象画素になった場合には補正から除外する、等の処理を付加してもよい。

上記の様に、読出し動作モード毎に測距画素位置を指定し画像のキズ補正を行うことで、補正値算出に撮像用画素と出力値が異なる測距用画素データが適用されることなく、適切な補正をすることができる。良好な画像を提供することができる。

本実施形態の構成によると、各動作モード別に全ての測距用画素の位置情報を持つのではなく、各モードにおける測距用画素位置の周期を情報として持つ。測距用画素位置を示すデータ量を削減することができ、データを格納するメモリの削減ができる。

また、各動作モードにおける全ての測距用画素の位置情報を持つ構成でもよい。さらには、全画素読出しを行う際の測距用画素の位置情報を持ち、間引き等の各モードにおいては位置情報を加工して適用する、等の構成でもよい。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

（測距用画素を用いた測距の実施例）
本実施形態で用いる測距用画素の構成を示す。本実施形態では、通常画素に比べてオンチップマイクロレンズの光軸に対して受光部の感度領域を偏心させることで瞳分割機能を付与させた画素を測距用画素として用いる。また、これに限らず、通常画素に比べて通常画素の一部の画素の受光部を２分割することで瞳分割機能を付与させたものを測距用画素として使用しても良い。

図１２は、瞳分割機能を有する撮像素子の画素の構成を示す図である。６１はオンチップマイクロレンズであり、光電変換素子６０に効率良く光を集める。６２は平坦化膜、６３はカラーフィルタ、６４は配線、６５は層間絶縁膜である。

図１２（ａ）は受光感度が右方向に感度ピークを持つ焦点検出用画素（左側の画素）と通常画素（右側の画素）を示した図である。また図１２（ｂ）は通常画素（右側の画素）と受光感度が左方向に感度ピークを持つ焦点検出用画素（左側の画素）を示した図である。図１２（ａ）では、最下部の配線層６４ａの開口を左側にシフトすることにより、右方向に感度ピーク瞳分割機能を持たせている。図１２（ｂ）では、最下部の配線層６４ｂの開口を右側にシフトすることにより、左方向に感度ピーク瞳分割機能を持たせている。また焦点検出用画素部のカラーフィルタ６３Ｗは、光量拡大を図るために、透明層となっている。本実施形態では、受光感度が右方向に感度ピークを持つ焦点検出用画素（左側の画素）、受光感度が左方向に感度ピークを持つ焦点検出用画素（左側の画素）をそれぞれＡ像、Ｂ像として、Ａ像Ｂ像の対の位相差検出用信号に基づいて、焦点ずれ量（デフォーカス量）を算出する。算出された焦点ずれ量に基づいて第１レンズ群１１９等を駆動させ、焦点調節を行う。

（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

１００ 撮像素子
１０８ｂ キズ検出部
１０８ｉ 画素位置一致回路

Claims (14)

1. 特定画素を含む複数種類の画素が配列される撮像素子と、
   前記撮像素子内の各画素の画素値に基づいて欠陥画素を検出する検出手段と、を有し、
   前記検出手段は、前記撮像素子内の前記特定画素の位置を示す情報に基づいて前記特定画素を前記欠陥画素の対象から外すことを特徴とする撮像装置。
2. 前記検出手段は、検出対象の画素および該検出対象の画素の周囲の画素の画素値から得られる代表値と、該検出対象の画素の画素値との差分に基づいて、前記欠陥画素を検出することを特徴とする請求項１に記載の撮像装置。
3. 前記検出手段は、前記特定画素の位置情報に基づいて前記特定画素の画素値を用いずに前記代表値を求めることを特徴とする請求項２に記載の撮像装置。
4. 前記検出手段は、検出対象の画素と該検出対象の画素の周囲の画素の画素値を用いて加重平均を行うことで前記代表値を求めるものであって、前記特定画素の位置情報に基づいて前記特定画素の画素値の重みを前記特定画素以外の画素に比べて低くして、前記加重平均を行うことを特徴とする請求項２に記載の撮像装置。
5. 前記検出手段は、前記特定画素の位置を示す情報を用いずに、前記撮像素子で生成された各画素の値に基づいて前記欠陥画素の候補となる画素を検出した後に、前記欠陥画素の候補となる画素の位置と前記特定画素の位置を比較し、前記欠陥画素の候補となる画素の位置と前記特定画素の位置が一致しない場合には、前記欠陥画素の候補となる画素の位置に前記欠陥画素があることを示す情報を出力し、前記欠陥画素の候補となる画素の位置と前記特定画素の位置が一致する場合には、前記欠陥画素の候補となる画素の位置に前記欠陥画素があることを示す情報を出力しないことを特徴とする請求項１または２に記載の撮像装置。
6. 前記検出手段により検出された前記欠陥画素の画素値を補正する補正手段と、を有し、
   前記補正手段は、前記欠陥画素の周囲の画素の画素値から得られる平均値に基づいて前記欠陥画素の画素値を補正するための補正値を算出することを特徴とする請求項１乃至５のいずれか１つに記載の撮像装置。
7. 前記補正手段は、前記特定画素の位置情報に基づいて前記特定画素の画素値を用いずに前記平均値を算出することを特徴とする請求項６に記載の撮像装置。
8. 前記補正手段は、前記特定画素の位置情報に基づいて前記特定画素の画素値に前記特定画素以外の画素に比べて低い重みをつけて前記平均値を算出することを特徴とする請求項６に記載の撮像装置。
9. 特定画素を含む複数種類の画素が配列される撮像素子と、
   前記特定画素の位置を示す情報を用いずに、前記撮像素子で生成された画像データにおける各画素の値に基づいて、欠陥画素を検出する検出手段と、
   前記検出手段によって検出された、前記画像データに含まれる前記欠陥画素の画素値を補正する補正手段と、
   前記補正手段による補正が行われた前記画像データを記録媒体に記録する記録手段と、を有し、
   前記補正手段は、前記検出手段によって検出された前記欠陥画素の位置と前記特定画素の位置を比較し、前記欠陥画素の位置と前記特定画素の位置が一致しない場合には、前記欠陥画素の画素値を補正し、前記欠陥画素の位置と前記特定画素の位置が一致する場合には、前記欠陥画素の画素値を補正しないことを特徴とする撮像装置。
10. 前記特定画素が測距用の画素であることを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 特定画素を含む複数種類の画素が配列される撮像素子を有する撮像装置の制御方法であって、
    前記撮像素子内の各画素の画素値に基づいて欠陥画素を検出する検出ステップを有し、
    前記検出ステップでは、前記撮像素子内の前記特定画素の位置を示す情報に基づいて前記特定画素を前記欠陥画素の対象から外すことを特徴とする撮像装置の制御方法。
12. 特定画素を含む複数種類の画素が配列される撮像素子を有する撮像装置の制御方法であって、
    前記特定画素の位置を示す情報を用いずに、前記撮像素子で生成された画像データにおける各画素の値に基づいて、欠陥画素を検出する検出ステップと、
    前記検出ステップにおいて検出された、前記画像データに含まれる前記欠陥画素の画素値を補正する補正ステップと、
    前記補正ステップにおいて補正が行われた前記画像データを記録媒体に記録する記録ステップと、を有し、
    前記補正ステップでは、前記検出ステップにおいて検出された前記欠陥画素の位置と前記特定画素の位置を比較し、前記欠陥画素の位置と前記特定画素の位置が一致しない場合には、前記欠陥画素の画素値を補正し、前記欠陥画素の位置と前記特定画素の位置が一致する場合には、前記欠陥画素の画素値を補正しないことを特徴とする撮像装置の制御方法。
13. 請求項１１に記載の撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラム。
14. 請求項１２に記載の撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラム。

Images