JP6346439B2 - 撮像装置及びその制御方法 - Google Patents

Description

本発明は撮像装置及びその制御方法に関し、更に詳しくは、撮影レンズの異なる瞳領域を通過した光をそれぞれ受光可能な画素からの信号を用いて焦点検出を行う撮像装置及びその制御方法に関する。

従来、撮像素子中の画素が撮像レンズの異なる瞳領域を通過した光を受光するような構成によって、撮像と同時に位相差方式の焦点検出を行う技術がある。特許文献１及び２においては、１つの画素の中にある、１つのマイクロレンズで集光される光を受光するフォトダイオード（ＰＤ）を分割することによって、分割した各々のＰＤが、撮像レンズの異なる瞳領域を通過した光を受光するように構成されている。また、特許文献３においては、ＰＤの前面にある配線層を画素によって異ならせ、ＰＤの開口を変えることで、画素によって撮像レンズの異なる瞳領域を通過した光を受光するように構成されている。これらの技術では、撮像レンズの異なる瞳領域を通過した光を受光した各々のＰＤの信号から像ずれ量の検出、すなわち位相差検出を行い、像ずれ量からピントのずれ量を計算し、焦点の検出を行っている。

撮像素子で位相差検出を行う撮像装置の場合、像ずれ量の検出領域は１次元ではなく２次元とすることが望ましい。なぜなら、検出領域が１行だけでは、撮像素子の画素ピッチ分だけしか行方向に検出領域がなく、狭すぎるからである。しかし、２次元の検出領域を使う場合、列方向に欠陥画素が連続する欠陥行が検出領域の行の中に含まれていると、位相差検出の結果に誤差を発生させ、位相差検出の精度が落ちてしまう。

一方、１つのマイクロレンズに対応する分割された２つのＰＤを有する撮像素子の場合、２つのＰＤを個別に読み出すには、倍の読み出し時間がかかってしまう。特許文献４は、２つの読み出し回路を用いて２行分のＰＤの信号を高速に読み出す方法が開示されている。具体的には、リセット信号の読み出しを行い、その後１つめのＰＤの信号を読み出し、次に１つめのＰＤの信号に上乗せして２つめのＰＤの信号を読み出している。このように、２つのＰＤの加算信号から１つめのＰＤの信号を減算することで、２つめのＰＤの信号を得ることができ、リセット信号の読み出し回数を減らすことで高速化を実現している。この技術は、上述した１つのマイクロレンズに分割された２つのＰＤが対応する構成を有する撮像素子から、各ＰＤから個別に信号を読み出す場合においても高速化に寄与できる。

特開２００１−０８３４０７号公報 特開２００１−２５０９３１号公報 特許第０３５９２１４７号公報 特開２００４−１３４８６７号公報

ところで、撮像素子を利用して位相差検出を行う場合は、２つのＰＤを加算した信号を画像信号として使用し、２つのＰＤの信号を別々に読み出した信号を位相差検出に使用することができる。この場合、２つのＰＤ信号を加算した信号は正常に出力されるが、個々のＰＤの信号は欠陥であることがあり得る。具体的には、１つめのＰＤの信号を読み出す際に、欠陥により２つのＰＤの信号を混合して読み出してしまう場合である。この場合、１つめのＰＤの信号の読み出し時に２つ分のＰＤの信号が読み出され、１つめと２つめのＰＤを加算した信号の読み出し時にも２つ分のＰＤの信号が得られる。すなわち、１つめのＰＤの信号だけではなく、加算したＰＤの信号から１つめのＰＤの信号を減算しても２つめのＰＤの信号も得られない結果になってしまう。

このように、２つのＰＤの信号を高速に読み出す際には、撮影画像には欠陥行がないのに、位相差検出に使用する画像には欠陥行があるということが起こり得る。位相差検出に使用する画像に欠陥があると、位相差検出の精度が落ちてしまうのは前述のとおりである。撮影画像の欠陥行は通常は不良品として扱われるが、この場合には、撮影画像に欠陥行がないのに、位相差検出用の画像に欠陥行があるために不良品として扱われてしまい、歩留りを低下させてしまう。

本発明は上記問題点を鑑みてなされたものであり、撮影画像にはない欠陥行が位相差検出用の画像にある場合に、誤差を生まず位相差検出できるようにし、撮像素子の歩留まりの低下を防ぐことを目的とする。

上記目的を達成するために、本発明の撮像装置は、行及び列方向に配置された複数の画素を有する撮像素子であって、各画素がそれぞれマイクロレンズと、各マイクロレンズを介して第１の方向の視差を有する光をそれぞれが受光するように配置された第１の光電変換部と第２の光電変換部とを有する撮像素子と、前記複数の画素の内の欠陥の位置情報を記憶する記憶手段と、前記複数の画素を分割した複数の領域のうち、前記記憶手段に記憶された前記位置情報に基づき欠陥を含む領域を特定する特定手段と、前記撮像素子の、前記第１の方向に並んだ複数の画素の複数の前記第１の光電変換部と複数の前記第２の光電変換部から得られた信号に基づいて前記領域ごとに第１の相関データを演算して、複数の第１の相関データを取得するとともに、前記複数の第１の相関データを前記第１の方向と垂直な第２の方向に加算して第２の相関データを演算する演算手段と、を有し、前記演算手段は、前記特定手段によって特定された領域からの信号を用いずに、前記第２の相関データを演算することを特徴とする。

本発明によれば、撮影画像にはない欠陥行が位相差検出用の画像にある場合に、誤差を生まずに位相差検出ができるため、撮像素子の歩留りの低下を防ぐことが可能となる。

本発明の実施の形態における撮像素子の全体構成を概略的に示す図。 実施の形態における撮像素子の１画素の概略構成を示す図。 実施の形態における撮像素子の画素アレイの一部を概略的に示す平面図。 射出瞳と撮像素子が受光する光の関係を示す模式図。 実施の形態における画素の回路図。 実施の形態の撮像素子の駆動パターンを示すタイミングチャート。 実施の形態における欠陥行と、Ａ像信号とＢ像信号との出力の関係を模式的に示す図。 位相差方式の焦点検出方法の概念を模式的に説明する図。 第１の実施形態における焦点検出に関わる撮像素子を含むシステム構成を示すブロック図。 実施形態における撮像素子の焦点検出領域を概略的に示す図。 第１の実施形態における焦点検出演算を示すフローチャート。 相関波形と像ずれ量との関係を概略的に示す図。 変形例における焦点検出演算を示すフローチャート。 第２の実施形態における焦点検出に関わる撮像素子を含むシステム構成を示すブロック図。 第２の実施形態における焦点検出演算を示すフローチャート。 第３の実施形態における撮像装置の概略構成を示すブロック図。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

＜第１の実施形態＞
以下、本発明の第１の実施形態について図面を用いて説明する。図１は本第１の実施形態における撮像素子１００の概略を示す図である。図１において撮像素子１００は、複数の画素が２次元に配列された画素アレイ１０１と、画素アレイ１０１における行を選択する垂直選択回路１０２と、画素アレイ１０１における列を選択する水平選択回路１０４を含む。また、画素アレイ１０１の画素のうち垂直選択回路１０２によって選択される画素の信号を読み出す読み出し回路１０３、各回路の動作モードなどを外部から決定するためのシリアルインターフェイス（ＳＩ）１０５を含んで構成され得る。読み出し回路１０３は、信号を一時的に蓄積するメモリ、ゲインアンプ、Ａ／Ｄ変換器などを有する。通常、垂直選択回路１０２は、画素アレイ１０１の複数の行を順に選択し、読み出し回路１０３に読み出す。水平選択回路１０４は、読み出し回路１０３に読みだされた複数の画素信号を列ごとに順に選択する。

なお、撮像素子１００は、図示された構成要素以外にも、例えば、垂直選択回路１０２、水平選択回路１０４、信号読み出し回路１０３等にタイミングを提供するタイミングジェネレータ或いは制御回路等を備える。

図２は本第１の実施形態における撮像素子１００の１画素の構成の概略を示す図である。１つの画素２０１は、１つのマイクロレンズ２０２と、光電変換素子として、２つのフォトダイオード（ＰＤ）２０３及び２０４を有する。更に、ＰＤ２０３とＰＤ２０４の各々の信号を読み出す転送スイッチ２０５、２０６と、ＰＤ２０３またはＰＤ２０４の信号を一時的に蓄積するフローティングディフュージョン（ＦＤ）２０７も有する。各画素は、図示された構成要素以外にも、後述する複数の構成要素を備える。

図３は画素アレイ１０１の一部を概略的に示す平面図である。画素アレイ１０１は、２次元の画像を提供するために、図２に示すような画素を、複数２次元アレイ状に配列して構成される。画素３０１、３０２、３０３、３０４を例にとって説明すると、３０１Ｌ、３０２Ｌ、３０３Ｌ、３０４Ｌは図２のＰＤ２０３に対応し、３０１Ｒ、３０２Ｒ、３０３Ｒ、３０４Ｒは図２のＰＤ２０４に対応している。

図３のような画素アレイ１０１を有する撮像素子１００における受光の様子について、図４を用いて説明する。図４は撮影レンズの射出瞳から出た光束が撮像素子１００に入射する様子を示す概念図である。

図４において、４０１は画素アレイ１０１の断面を示す。断面４０１に示すように、マイクロレンズ２０２、ＰＤ２０３、ＰＤ２０４の他に、カラーフィルタ４０３を有する。また、中央のマイクロレンズ２０２を有する画素に対して、射出瞳４０６から出た光束の中心を光軸４０９とする。射出瞳４０６から出た光は、光軸４０９を中心として撮像素子１００に入射される。４０７、４０８は撮影レンズの射出瞳の一部領域（瞳領域）を表す。瞳領域４０７を通過する光の最外周の光線を４１０、４１１で示し、瞳領域４０８を通過する光の最外周の光線を４１２、４１３で示す。図４からわかるように、射出瞳４０６から出る光束のうち、光軸４０９を境にして、上側の光束はＰＤ２０４に入射し、下側の光束はＰＤ２０３に入射する。つまり、ＰＤ２０３とＰＤ２０４は、各々、撮影レンズの射出瞳４０６の別の瞳領域４０７、４０８を通過した光を受光している。

以下、図３を参照すると、行３０５に含まれる画素３０１、３０２、３０３、３０４の場合、光軸４０９を挟んで一方の射出瞳から出る光束を受光するＰＤ２０３に対応するＰＤ３０１Ｌ、３０２Ｌ、３０３Ｌ、３０４Ｌから得られる像をＡ像とする。そして、その信号をＡ像信号（第１信号）と呼ぶ。また、光軸４０９を挟んで他方の射出瞳から出る光束を受光するＰＤ２０４に対応するＰＤ３０１Ｒ、３０２Ｒ、３０３Ｒ、３０４Ｒから得られる像をＢ像、その信号をＢ像信号（第２信号）と呼ぶ。

図５は、図２に示す構成を有する画素の回路構成を示す等価回路図である。ここでは、模式的に３列１行分の画素を記載している。図５において、図２と同じ構成には同じ参照番号を付している。画素２０１の転送スイッチ２０５、２０６はそれぞれ転送パルスφＴＸ１、φＴＸ２によって駆動され、それぞれ対応するＰＤ２０３、２０４で発生した光電荷をＦＤ２０７に転送する。ＦＤ２０７は電荷を一時的に蓄積するバッファとしての役割を有する。５０１はソースフォロアとして機能する増幅ＭＯＳアンプ、５０２は垂直選択パルスφＳＥＬによって画素を選択する選択スイッチである。ＦＤ２０７、増幅ＭＯＳアンプ５０１、及び垂直出力線５０３に接続された不図示の定電流源からフローティングディフュージョンアンプが構成される。選択スイッチ５０２で選択された画素のＦＤ２０７の信号電荷がフローティングディフュージョンアンプにより電圧に変換されて、垂直出力線５０３に出力され、読み出し回路１０３に読み出される。５０４はリセットパルスφＲＥＳを受けてＶＤＤによりＦＤ２０７をリセットするリセットスイッチである。

上述したように、ＰＤ２０３及びＰＤ２０４はそれぞれに対応する転送スイッチ２０５、２０６を持つが、画素中の回路において、ＦＤ２０７以降で信号読み出しに用いる回路は共有する。このような構成にすることで、画素の縮小化を図ることができる。また、図示したように転送パルスφＴＸ１、φＴＸ２を提供する配線は各行に配列された画素により共有される。

次に、上記構成を有する撮像素子１００の駆動方法について説明する。図６は駆動パターンを示すタイミングチャートであり、１行分の信号を読み出し回路１０３に読み出す駆動について示す。先ず、ｔ６０１の間に、リセットパルスφＲＥＳと転送パルスφＴＸ１、φＴＸ２を同時に高電位（以下、「Ｈ」）にする。これにより、リセットスイッチ５０４と転送スイッチ２０５、２０６がオンとなり、ＰＤ２０３、ＰＤ２０４、ＦＤ２０７の電位が初期電位ＶＤＤにリセットされる。その後、転送パルスφＴＸ１、φＴＸ２が低電位（以下、「Ｌ」）になると、ＰＤ２０３、ＰＤ２０４において電荷蓄積が始まる。

次に、電荷蓄積時間に基づいて決められる所定時間経過後、ｔ６０３において選択パルスφＳＥＬをＨにして選択スイッチ５０２をオンすることで読み出し行を選択し、１行分の信号の読み出し動作が行われる。また同時にリセットパルスφＲＥＳをＬにして、ＦＤ２０７のリセットを解除する。

ｔ６０４の間にφＴＮをＨにして、読み出し回路１０３に、ＦＤ２０７のリセット信号であるＮ信号を読み出して記録する。なお図示しないが、読み出し回路１０３では、φＴＮ、φＳ１、φＳ２の制御に基づいて、ＦＤ２０７の電位を垂直出力線５０３を介し読み出し、各々信号を記録しておく。次に、ｔ６０５の間に転送パルスφＴＸ１とφＳ１を同時にＨにして転送スイッチ２０５をオンすることで、ＰＤ２０３の光信号とノイズ信号の加算信号である第１ＰＤ信号を読み出し回路１０３に記録する。

次に、リセットスイッチ５０４をオンしない状態で、ｔ６０６の間に転送パルスφＴＸ１、φＴＸ２とφＳ２を同時にＨにして転送スイッチ２０５、２０６をオンする。これにより、ＰＤ２０３の光信号とＰＤ２０４の光信号とノイズ信号とが混合された加算信号である第２ＰＤ信号を読み出し回路１０３に記録する。時刻ｔ６０５で一度転送パルスφＴＸ１をオンしてＰＤ２０３の信号をＦＤ２０７に読み出しているので、時刻ｔ６０６では転送パルスφＴＸ１はオフ状態でもよい。また、厳密には、ｔ６０１の終了からｔ６０６の終了までが蓄積時間ｔ６０２となる。なお、転送パルスφＴＸ２をＨにしてＰＤ２０４をリセットするタイミングを、ｔ６０５とｔ６０６の時間差分、遅らせても良い。

上記の動作で読み出し回路１０３に読み出されたＮ信号、第１ＰＤ信号、第２ＰＤ信号に基づいて、第１ＰＤ信号からノイズ信号を差分したＡ像信号と、第２ＰＤ信号からノイズ信号を差分した画像信号が撮像素子１００の外部に出力される。この画像信号はＰＤ２０３とＰＤ２０４の信号を合成した信号であるので、画像信号からＡ像信号を減算することでＢ像信号を生成することができる。

上記説明した動作でＡ像信号、Ｂ像信号、及び画像信号が得られるが、ここで、製造上の不良で転送パルスφＴＸ１の配線と転送パルスφＴＸ２の配線がショートした場合を考える。このとき、時刻ｔ６０５で本来Ｌであるべきの転送パルスφＴＸ２がＨになってしまうものとする。この場合、第１ＰＤ信号を読み出す動作において、第２ＰＤ信号を読み出してしまうことになる。第２ＰＤ信号はもともと転送φＴＸ１とφＴＸ２が同時にＨになるので影響は出ない。結果として、転送パルスφＴＸ１の配線と転送パルスφＴＸ２の配線がショートした行は、画像信号は通常通り得られるが、Ａ像信号として、画像信号と同じ信号を読み出してしまう。さらに、画像信号からＡ像信号を減算して求めるＢ像信号は信号が無くなってしまう。つまり、その行の画像信号は問題ないが、Ａ像信号とＢ像信号は欠陥という現象が発生する。

図７は画像信号とＡ像信号及びＢ像信号の信号レベルを模式的に示す図である。ここでは４行４列の配置のうち、３行目のみが欠陥行を示し、正常な場合は画像信号は２、Ａ像信号及びＢ像信号は共に１であるものとする。画像信号からＡ像信号を減算したものがＢ像信号であるので、正常行は画像信号２、Ａ像信号は１なのでＢ像信号は１となる。欠陥行については、画像信号は２で正常であるが、Ａ像信号は画像信号と同じ信号の２となり、Ｂ像信号は０となってしまう。

次に、撮像素子１００で撮影レンズの射出瞳の異なる瞳領域の像が得られる特性を生かした、位相差方式の焦点検出方法の概念について、図８を参照して説明を行う。図８（ａ）は、Ａ像信号を得るために１行に配置された画素群（Ａライン）と、Ｂ像信号を得るために１行に配置された画素群（Ｂライン）をそれぞれ示している。図８（ｂ）は合焦状態、図８（ｃ）は前ピン状態、図８（ｄ）は後ピン状態を示し、それぞれＡライン及びＢラインから出力されたＡ像及びＢ像を示している。

Ａ像及びＢ像は、図８から分かるように、合焦状態、前ピン状態及び後ピン状態の何れであるかによりに２像の間隔が異なる。これを利用して、像間隔が合焦状態の間隔になるように、撮像レンズに含まれるフォーカス用レンズを移動させて、ピントを合わせる。つまりフォーカス用レンズの移動量は、２像のずれ量から計算して求めることができる。ところが、本第１の実施形態で上述した方法でＡ像信号及びＢ像信号を取得した場合、図７に示すような欠陥行がある場合には、欠陥行では、Ａ像側に間違った信号があり、且つＢ像側に信号がないため、２像のずれ間隔を算出できないという問題が生じる。

次に欠陥行を考慮した焦点検出方法について説明する。図９は焦点検出に関わる撮像素子１００を含むシステム構成図である。撮像素子１００からは前述の通り画像信号とＡ像信号が出力される。撮像素子１００からの画像信号とＡ像信号は、同時に出力してもよいし、時系列に出力してもよい。焦点検出回路９００は、Ｂ像生成部９０１で撮像素子１００からの画像信号からＡ像信号を減算することでＢ像信号を生成する。また、焦点検出回路９００は、前述の欠陥行のアドレスを記録する欠陥行記録メモリ９０３を有する。演算部９０２ではＡ像信号とＢ像信号から後述する合焦位置からのずれ量を求める演算を行うが、その際に演算部９０２は欠陥行記録メモリ９０３に記録されている欠陥行については、演算を行わない。詳細については後述する。

欠陥行記録メモリ９０３に記録される欠陥行の情報については、撮像素子１００や撮像装置の出荷時に試験を行い、欠陥行の情報を得ることができる。具体的には、前述のとおり、画像信号とＡ像信号が同じ信号である行、もしくはＢ像信号に信号がない行を欠陥行として抽出することが可能である。このように出荷時の試験で欠陥行とされた行の情報を欠陥行記録メモリ９０３に記録しておく。また、出荷時の試験だけでなく、撮像装置の起動時などにも同様に欠陥行の抽出を行うことが可能である。

また、欠陥行記録メモリ９０３に記録しておく欠陥行の情報は、前述のような行アドレスでの記録以外でもよい。たとえば、欠陥行記録メモリ９０３の代りに、欠陥画素記録メモリと欠陥行判定手段を有する構成について説明する。欠陥画素記録メモリは欠陥画素の行列アドレスを記録しておく。欠陥行判定手段は欠陥画素記録メモリに記録されている欠陥画素情報を読み取り、同一行のなかの欠陥画素の個数をカウントし、閾値以上の欠陥画素数の場合には、当該行を欠陥行と判定する。欠陥行は同様に演算部９０２で演算を行わない処理を行う。欠陥画素の記録はＡ像信号、Ｂ像信号、画像信号のいずれの記録であっても構わないし、全ての記録であっても構わない。また、欠陥行判定手段での判定も、Ａ像信号、Ｂ像信号、画像信号のいずれの判定であっても構わないし、全ての判定であっても構わない。

次に図１０、図１１を用いて、合焦位置からのずれ量を求める演算であるＡ像とＢ像の２像の間隔を算出する方法について説明する。図１０は撮像素子１００上での焦点検出領域を示す図である。図１０（ａ）では、焦点検出領域１００２は、１００１を中心にして、Ｘ方向がｐからｑ列、Ｙ方向がｒからｓ行の範囲を示している。シフト量は−ｉｍａｘから＋ｉｍａｘまでである。実質的な焦点検出領域はシフト量も含んだ焦点検出領域１００３となる。図１０（ｂ）は、焦点検出領域が図１０（ａ）と異なる領域の測距を行うときの焦点検出領域を示している。図１０（ｂ）のように画面上の任意の場所に焦点検出領域を設定することで、画面上の任意の場所で合焦位置からのずれ量を求める演算を行うことが可能である。

図１１は撮像素子から得られた像データから、合焦位置からのずれ量、ひいては、フォーカスレンズ移動量を求める演算の手順を示すフローチャートである。図１１を用いて、図１０で説明した焦点検出領域の合焦位置からのずれ量を求める焦点検出演算について説明を行う。

処理がスタートすると、Ｓ１１０１で最初の行Ｙ＝ｒを選択する。次にＳ１１０２で、選択行が欠陥行かどうかを判定する。欠陥行記録メモリ９０３に記録されている欠陥行アドレスの情報に基づいて、選択行が欠陥行の場合は、Ｓ１１０３に進む。Ｓ１１０３ではＹ＋１をＹとして欠陥行をスキップし、Ｓ１１０２に戻る。一方、Ｓ１１０２で正常行と判断された場合には、Ｓ１１０４に進む。次にＳ１１０４では後述する相関波形Ｃ（Ｉｙ）をクリアする。次に、Ｓ１１０５でＩｙ＝−Ｉｍａｘにする。ここではＹ＝ｒ行なので、ｒ行での像ずれ量を求める。次にＳ１１０６でＢ像の画素のデータをＩｙ画素分、シフトする。次にＳ１１０７でＡ像とＢ像のＩｙ画素分シフトした時の相関値を求める。

具体的には、相関値は以下の式（１）で算出されるように、Ａ像とＢ像の各画素での信号値の差の絶対値を求めることで算出される。

Ａｘ、Ｂｘは指定した行での、Ａ像、Ｂ像のｘ座標の出力をそれぞれ示す。つまり、Ｃ（Ｉｙ）は、Ｂ像をＩｙ画素分シフトさせたときのＡ像とＢ像の差の絶対値の総和を求めている。また、相関値は上述した式だけでなく、例えば以下のような式（２）でも求めることができる。

上記式（２）では、Ｂ像のデータだけをシフトするのではなく、Ａ像のデータも同時に逆方向にシフトして、差の絶対値の総和を求めている。その際にはＳ１１０６ではＡ像のデータをＩｙ画素分シフトし、Ｂ像の像データを−Ｉｙ画素分シフトする。

また、相関値はＡラインとＢラインの差の絶対値以外にも、以下のように各画素の大きい画素値を算出する式（３）でも求めることが可能である。

ｍａｘ（Ａ，Ｂ）はＡとＢの大きい方を選択することを表す。式は記載しないが、ＡとＢの小さい方を選択する演算でも相関値を求めることが可能である。

このように本発明は、Ａ像とＢ像の相関値を求められればよく、Ｓ１１０７における相関値を求める方法により限定されるものではない。

次に、Ｓ１１０８でＩｙ＋１をＩｙに代入する（１画素ずらす）。Ｓ１１０９でＩｙ＞ＩｍａｘならＳ１１１０に進み、ＩｙがＩｍａｘ以下であれば、Ｓ１１０６、Ｓ１１０７、Ｓ１１０８を繰り返す。従って、Ｓ１１１０に進むときには、Ｉｙが−Ｉｍａｘから＋Ｉｍａｘまでの１行分の相関値の集合である相関波形Ｃ（Ｉｙ）が求まっていることになる。

次にＳ１１１０では、Ｃ（Ｉｙ）＋Ｃ（Ｉ）をＣ（Ｉ）に代入する。次にＳ１１１１でＹ＋１をＹに代入し、Ｓ１１１２でＹ＞ｓならば、Ｓ１１１３に進み、そうでない場合はＳ１１０２に戻って上記処理を繰り返す。つまりＳ１１１０では、各行のＣ（Ｉｙ）を加算してＣ（Ｉ）を生成し、それをｒからｓまでの各行分繰り返すことで、各行の相関波形Ｃ（Ｉｙ）から全行加算された相関波形Ｃ（Ｉ）を求めている。

ここで、相関波形Ｃ（Ｉ）について図１２を用いて説明する。図１２は相関波形Ｃ（Ｉ）を模式的に示す。相関波形Ｃ（Ｉ）はシフト量ＩずらしたときのＡ像とＢ像の相関値を示し、相関値を差の絶対値の総和としている場合には相関波形Ｃ（Ｉ）の出力が最も低い場所のＩが最も相関が高いＩである。図１２（ａ）で示すように、合焦時には、相関波形Ｃ（Ｉ）のうち、最も相関が高いＩ、すなわち相関波形Ｃ（Ｉ）の出力が最も低い場所のＩ＝０である。また、図１２（ｂ）、図１２（ｃ）で示すように、ピントがずれているときには、ずれている量に基づいたシフト量Ｉにおいて、最も相関が高くなる。つまり最も相関が高い場所のシフト量は像ずれ量と等価である。

次にＳ１１１３ではＳ１１１２終了までの処理で求まっている相関波形Ｃ（Ｉ）の正規化を行う。Ｓ１１０２、Ｓ１１０３の処理により欠陥行のスキップを行っているので、欠陥行がある場合の相関波形Ｃ（Ｉ）と欠陥行が無い場合の相関波形Ｃ（Ｉ）が異なってしまう。そこで、Ｓ１１１３では、「Ｃ（Ｉ）×焦点検出領域の行数／（焦点検出領域の行数−欠陥行数）」を新たなＣ（Ｉ）とすることで、欠陥行の有無にかかわらず、同一条件では常に同じＣ（Ｉ）が得られるようにする。このようにすることで、精度の高いＣ（Ｉ）が得られるが、演算処理の時間やハードウェアが不足している場合には、もちろん焦点検出演算精度を落としてＳ１１１３の処理を行わなくてもよいことは言うまでもない。

次にＳ１１１４では全行の相関波形Ｃ（Ｉｙ）が加算された相関波形Ｃ（Ｉ）のうち、最も相関があるシフト量Ｉを求める。具体的には図１２を用いて説明した前述のとおり、最も相関があるシフト量Ｉ、すなわち相関波形Ｃ（Ｉ）の出力が最もひくい場所を求めればよい。Ｓ１１１４では、最も相関があるシフト量Ｉを相関波形Ｃ（Ｉ）のうちから求めることで、ｒからｓ行におけるＡ像、Ｂ像間の像のずれ量を算出する。Ｓ１１１５では、求めた像のずれ量を換算することで、最終的にピントのずれ量Ｌを求め、処理を終了する。図示しないが、ピントのずれ量Ｌに基づいて、レンズをＬ分だけ移動することで、合焦する。

このように各行で相関波形Ｃ（Ｉｙ）を求め、焦点検出領域の行数分だけ相関波形Ｃ（Ｉｙ）を加算して、相関波形Ｃ（Ｉ）を生成することによって、図１０で示した２次元の焦点検出領域におけるピントのずれ量を求めることができる。さらにＳ１１０２、Ｓ１１０３で示すように、欠陥行の信号は２次元の焦点検出演算から省くため、より精度の高い焦点検出演算が可能となる。

以上述べたように本第１の実施形態によれば、２次元の検出領域で焦点検出演算を行う場合において、画像信号には無い欠陥行がＡ像信号、Ｂ像信号にある場合にも、欠陥行のために演算精度を落とすことなく焦点検出演算を行うことが可能となる。従って、Ａ像信号、Ｂ像信号だけに欠陥行がある撮像素子を撮影に用いることができるため、歩留りを向上することが可能となる。

＜変形例＞
図１１を参照して説明した焦点検出演算に変わる焦点検出演算について、図１３を用いて説明を行う。本変形例では、Ｓ１１１３の規格化処理を省きつつ、高い焦点検出の演算精度を求める処理について説明する。図１１に示す処理と異なり、図１３に示す処理では、Ｓ１１０２で選択行が欠陥行であると判定された場合は、Ｓ１１１０までスキップする。これにより、Ｓ１１０４でＣ（Ｉｙ）をクリアする処理を飛ばすため、欠陥行の相関波形Ｃ（Ｉｙ）を相関波形Ｃ（Ｉ）に加算する際には、欠陥行の前の行の相関波形のデータが残っている。つまり、欠陥行のデータを前行のデータで補間していることとなる。このような処理を行うためには、欠陥行が連続していないことが前提になるが、Ｓ１１１３の処理を省きつつ、焦点検出演算の精度を高めることが可能となる。また、ここでは欠陥行のＣ（Ｉｙ）を前の行のデータに置き換える方法について述べたが、欠陥行のＡ像信号、Ｂ像信号を前の行のＡ像信号、Ｂ像信号に置き換えて通常の相関演算をしてもよい。

また、欠陥行の前の行ではなく、後の行の相関波形Ｃ（Ｉｙ）やＡ像信号、Ｂ像信号に置き換えるように構成したり、前の行と後の行の相関波形Ｃ（Ｉｙ）やＡ像信号、Ｂ像信号の平均値で置き換えるように構成しても良い。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。第２の実施形態における撮像素子の構成は上述した第１の実施形態と同様であるので、ここでは説明を省略する。

第２の実施形態では、予め検出した欠陥行を焦点検出演算から省くのではなく、欠陥行を検出しながら焦点検出演算を行うシステムについて説明する。図１４は位相差検出に関わる撮像素子を含むシステム構成図である。撮像素子１００からは前述のとおり画像信号とＡ像信号が出力されるが、これらの信号は同時に出力してもよいし、時系列に出力してもよい。第２の実施形態における焦点検出回路１４００は、Ｂ像生成部１４０１と、演算部１４０２と、欠陥行を検出する欠陥行検出部１４０３を有する。焦点検出回路１４００は、Ｂ像生成部１４０１において撮像素子１００からの画像信号からＡ像信号を減算することでＢ像信号を生成する。演算部１４０２ではＡ像信号とＢ像信号から後述する焦点検出演算を行うが、演算部１４０２は欠陥行検出部１４０３で検出された欠陥行については、焦点検出演算を行わない。

図１５は撮像素子１００から得られた画像信号及びＡ像信号から、フォーカスレンズ移動量、つまり合焦状態からのずれ量を求める焦点検出演算の手順を示すフローチャートである。なお、Ｓ１１０１、Ｓ１１０４からＳ１１１５までの処理については、図１３で示したフローチャートと同様である。

Ｓ１５０１では欠陥行検出部１４０３において、選択されているＹ行のＢ像信号を列方向に加算し、Ｋｂに代入する。列方向に加算しているのは、ノイズに紛れることなくＢ像信号を正確に得るためであるので、加算数はノイズ量に応じて決めてもよい。ここで、正常行であればＢ像信号があるのでＫｂは一定以上の値をとる。一方、欠陥行であれば、Ｋｂはノイズを含んでいるが、ほぼ０に近い値をとる。Ｓ１５０２でＫｂと閾値Ｋｔｈを比較する。閾値Ｋｔｈとしては、ノイズと信号を分けられる値が設定されている。つまりＫｂ＜Ｋｔｈであれば、その行は欠陥行と判断する。欠陥行の場合はＳ１１１０に進み、正常行の場合はＳ１１０４に進んで、通常の相関演算を行う。

このように、リアルタイムに欠陥行を検出して、焦点検出演算から省くことで、メモリの削減だけでなく、出荷時の検査も不要となる。なお、欠陥行は焦点検出演算から省くだけでなく、変形例で上述したように、欠陥行の相関波形Ｃ（Ｉｙ）やＡ像信号、Ｂ像信号を前の行及び／または後の行の相関波形Ｃ（Ｉｙ）やＡ像信号、Ｂ像信号を用いて置き換えて、通常の相関演算をしてもよい。

＜第３の実施形態＞
次に、第１及び第２の実施形態で説明した撮像素子１００を撮像装置であるデジタルカメラに適用した場合の第３の実施形態について、図１６を参照して詳述する。

図１６において、被写体の光学像を撮像素子１００に結像させるレンズ部１６０１は、レンズ駆動装置１６０２によってズーム制御、フォーカス制御、絞り制御などが行われる。メカニカルシャッター１６０３はシャッター駆動装置１６０４によって制御される。撮像素子１００はレンズ部１６０１により結像された被写体像を画像信号に変換して出力する。撮像信号処理回路１６０６は撮像素子１００より出力される画像信号に各種の補正を行ったり、データを圧縮したりする。また、上述した焦点検出回路９００または１４００が行う処理を実行する。タイミング発生回路１６０７は、撮像素子１００、撮像信号処理回路１６０６に、各種タイミング信号を出力する。制御回路１６０９は各種演算と撮像装置全体を制御する。メモリ１６０８は画像データを一時的に記憶する。記録媒体制御インターフェース（Ｉ／Ｆ）部１６１０は、画像データの記録または読み出しを行う為の半導体メモリ等の着脱可能な記録媒体１６１１に記録または読み出しを行うために用いられる。表示部１６１２は各種情報や撮影画像を表示する。

次に、上記構成を有するデジタルカメラにおける撮影時の動作について説明する。メイン電源がオンされると、コントロール系の電源がオンし、更に撮像信号処理回路１６０６などの撮像系回路の電源がオンされる。

そして、不図示のレリーズボタンが押されると、撮像素子１００からのデータを基に上述した焦点検出演算を行い、焦点検出結果に基づいて合焦状態からのずれ量の演算を行う。その際に不図示のメモリから欠陥行情報を得て、欠陥行を焦点検出演算から省く。または前行のデータで置換する。その後、レンズ駆動装置１６０２によりレンズ部１６０１を駆動して合焦か否かを判断し、合焦していないと判断した時は、再びレンズ部１６０１を駆動し、焦点検出演算を行う。

そして、合焦が確認された後に撮影動作が開始する。撮影動作が終了すると、撮像素子１００から出力された画像信号は撮像信号処理回路１６０６で画像処理され、制御回路１６０９によりメモリ１６０８に書き込まれる。撮像信号処理回路１６０６では、並べ替え処理、加算処理やその選択処理が行われる。メモリ１６０８に蓄積されたデータは、制御回路１６０９の制御により記録媒体制御Ｉ／Ｆ部１６１０を介して半導体メモリ等の着脱可能な記録媒体１６１１に記録される。

また、図示しない外部Ｉ／Ｆ部を通り直接コンピュータ等に入力して画像の加工を行ってもよい。

＜他の実施形態＞
また、上述した実施形態では、各画素が２つの光電変換素子を有する場合について説明したが、本発明はこの構成に限られるものではない。各画素が例えば４つの光電変換素子を有し、左右または上下に２画素ずつ加算して読み出すような場合にも適用することが可能であり、本発明は各画素が有する光電変換素子の数により限定されるものではない。

このように撮像素子で撮影レンズの射出瞳から出る光束の情報を別々に取得可能な構成を有する２次元に配置された画素において、撮影画像に欠陥行が無いにも関わらず、位相差検出用の画像に欠陥行がある構成であれば、本発明を適用することが可能である。

なお、本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、カメラヘッドなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、デジタルカメラなど）に適用してもよい。

Claims (9)

1. 行及び列方向に配置された複数の画素を有する撮像素子であって、各画素がそれぞれマイクロレンズと、各マイクロレンズを介して第１の方向の視差を有する光をそれぞれが受光するように配置された第１の光電変換部と第２の光電変換部とを有する撮像素子と、
   前記複数の画素の内の欠陥の位置情報を記憶する記憶手段と、
   前記複数の画素を分割した複数の領域のうち、前記記憶手段に記憶された前記位置情報に基づき欠陥を含む領域を特定する特定手段と、
   前記撮像素子の、前記第１の方向に並んだ複数の画素の複数の前記第１の光電変換部と複数の前記第２の光電変換部から得られた信号に基づいて前記領域ごとに第１の相関データを演算して、複数の第１の相関データを取得するとともに、前記複数の第１の相関データを前記第１の方向と垂直な第２の方向に加算して第２の相関データを演算する演算手段と、を有し、
   前記演算手段は、前記特定手段によって特定された領域からの信号を用いずに、前記第２の相関データを演算することを特徴とする撮像装置。
2. 前記特定手段は、さらに、各領域に含まれる前記第１または第２の光電変換部から得られた複数の信号を加算して得た値が予め決められた閾値より小さい領域を、欠陥領域と判断するとともに、
   前記演算手段は、さらに、前記特定手段により特定された欠陥領域からの信号を用いずに、前記第２の相関データを演算することを特徴とする請求項１に記載の撮像装置。
3. 前記演算手段は、前記第２の相関データを用いてデフォーカス量を取得することを特徴とする請求項１または２に記載の撮像装置。
4. 前記領域は行単位で設定され、
   前記特定手段によって特定された欠陥行において、前記演算手段は、前記欠陥行の代わりに、前記欠陥行の前後の行の前記第１および第２の光電変換部から得られた信号を用いて前記第２の相関データを取得することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記演算手段は、予め決められた焦点検出領域に含まれる画素に対して前記演算を行い、前記焦点検出領域における前記第１の相関データを加算して前記第２の相関データを得るとともに、前記焦点検出領域内の欠陥信号が含まれる領域からの信号を用いずに前記第２の相関データを演算することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
6. 前記第１及び第２の光電変換素子はマイクロレンズを介して撮影レンズの異なる瞳領域を通過した光を受光することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記演算手段は、撮影レンズに含まれるフォーカスレンズの駆動量を、前記第２の相関データに基づいて求めることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記第２の相関データは、前記撮像素子の複数行の信号から生成された複数の前記第１の相関データから生成されることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 行及び列方向に配置された複数の画素を有する撮像素子であって、各画素がそれぞれマイクロレンズと、各マイクロレンズを介して第１の方向の視差を有する光をそれぞれが受光するように配置された第１の光電変換部と第２の光電変換部とを有する撮像素子を有する撮像装置の制御方法であって、
   前記複数の画素を分割した複数の領域のうち、記憶手段に記憶された前記複数の画素の内の欠陥の位置情報に基づき欠陥を含む領域を特定する特定工程と、
   前記撮像素子の、前記第１の方向に並んだ複数の画素の複数の前記第１の光電変換部と複数の前記第２の光電変換部から得られた信号に基づいて前記領域ごとに第１の相関データを演算して、複数の第１の相関データを取得するとともに、前記複数の第１の相関データを前記第１の方向と垂直な第２の方向に加算して第２の相関データを演算する演算工程と、を有し、
   前記演算工程では、前記特定手段によって特定された領域からの信号を用いずに、前記第２の相関データを演算することを特徴とする撮像装置の制御方法。

Images