JP5097077B2

JP5097077B2 - 撮像装置及びその制御方法及びプログラム

Info

Publication number: JP5097077B2
Application number: JP2008264628A
Authority: JP
Inventors: 正史木村
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2008-10-10
Filing date: 2008-10-10
Publication date: 2012-12-12
Anticipated expiration: 2028-10-10
Also published as: JP2010091991A; US8634015B2; WO2010041721A1; US20110134310A1

Description

本発明は、自動焦点検出機能を有する撮影装置に関するものである。

近年焦点検出装置の高性能化に伴い、ファインダ内の多くの点で測距可能ないわゆる多点測距タイプの焦点検出装置が多く提案されている。位相差ＡＦの原理を活用して多点測距をする焦点検出装置においては、夫々の測距点に対応した１対の像信号を取得し、相関演算を行いその位相差からデフォーカス量を計算する方法が用いられている。

特許文献１には、多数のラインやエリアから得られる有効なデフォーカス量のうち、近距離側から数えて指定された順にあるデフォーカス量を選択する技術が開示されている。

特許文献２には、視線検出手段の出力とその信頼性を元に操作者の意図に合った測距点を選択する方法が開示されている。

特許文献３には、複数の１対の像信号の類似性を判定し、類似性が高い場合または同じデフォーカス量を得た場合、複数の像信号を合成して１対の像信号を生成し相関演算を行う方法が開示されている。

特許文献４には、被写体信号が小さいときには瞳分割方向と垂直方向の信号を加算して読み出すセンサが開示されている。
特開平５−１１１７８号公報特開平６−１３８３７８号公報特開２００６−１４５８６２号公報特開２００２−２５８１４２号公報

一般的に焦点検出装置に求められる機能として、合焦時の精度に加えて、被写体が遠距離および近距離に存在する場面等で適切に主被写体を捕らえること、より低輝度状態で焦点検出が可能であること、などが望まれる。

上記の課題のうち、より低輝度状態で焦点検出が可能であることを達成するためには、焦点検出センサの感度を上げる、焦点検出センサ信号の蓄積時間を長くする、焦点検出センサへ入射する光量が増えるような瞳分割構成にする等のハードウェアによる改善が考えられる。それに加え、焦点検出センサ信号を合成するというソフトウェア的なアプローチも取られている。焦点検出センサの信号を合成する場合は、瞳分割方向と垂直方向の複数の１対の像信号を合成して１対の像信号を得ることが多い。このような処理により相関方向への像信号の変質を抑えながら、より低輝度状態で焦点検出が可能となる。一方で、前述のような処理を行うと、合成対象となる各画素に同一被写体が写っていない場合には適切ではない演算結果を得る場合がある。また、相関方向に対して傾いた線で近似できるような像が写っている場合には、加算の結果から相関を得ることが難しい場合もある。

従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、より低輝度な被写体に対して適切な焦点検出を可能とすることである。

上述した課題を解決し、目的を達成するために、本発明に係わる撮像装置は、被写体像を結像させる撮影光学系の結像面の近傍に設けられた撮像素子と、前記撮影光学系の異なる瞳領域を通った１対の光束を結像させる瞳分割手段と、２次元的に配置され前記瞳分割手段の像を光電変換する焦点検出センサと、前記焦点検出センサにより生成される、前記瞳分割手段の瞳分割方向及び瞳分割方向と垂直な方向に延びる１対の２次元的な像から１つの測距値を得るために、前記１対の２次元的な像を瞳分割方向にシフトさせながら前記１対の２次元的な像の相関量を演算する相関演算手段と、を備えることを特徴とする。

また、本発明に係わる撮像装置の制御方法は、被写体像を結像させる撮影光学系の結像面の近傍に設けられた撮像素子と、前記撮影光学系の異なる瞳領域を通った１対の光束を結像させる瞳分割手段と、２次元的に配置され前記瞳分割手段の像を光電変換する焦点検出センサと、を備える撮像装置を制御する方法であって、前記焦点検出センサにより生成される、前記瞳分割手段の瞳分割方向及び瞳分割方向と垂直な方向に延びる１対の２次元的な像から１つの測距値を得るために、前記１対の２次元的な像を瞳分割方向にシフトさせながら前記１対の２次元的な像の相関量を演算する相関演算工程を備えることを特徴とする。

本発明によれば、より低輝度な被写体に対して適切な焦点検出を可能とすることができる。

以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。

（第１の実施形態）
図１〜図１５は本発明の第１の実施形態を説明する図である。以下にこれらの図を用いて本発明の第１の実施形態について説明する。

図１は本実施形態の焦点検出装置を備えたカメラの断面図である。

図１において１０はイメージセンサ（固体撮像素子）で、デジタルスチルカメラ１の撮影レンズ（撮影光学系）５の予定結像面に配置されている。デジタルスチルカメラ１は、カメラ全体を制御するＣＰＵ２０、イメージセンサ１０を駆動制御するイメージセンサ制御回路２１、イメージセンサ１０にて撮像した画像信号を画像処理する画像処理回路２４を備えている。また、被写体像を観察するための接眼レンズ３、イメージセンサ１０にて撮像された画像を記録するメモリ回路２２、画像処理回路２４にて画像処理された画像をカメラ外部に出力するためのインターフェース回路２３を備えている。また、メモリ回路２２は、イメージセンサ１０の受光分布も記憶できる。

撮影レンズ５はカメラ本体１に対して着脱可能なレンズである。撮影レンズ５は、カメラ本体１のＣＰＵ２０から送られてくる焦点調節情報を電気接点２６を介してレンズＣＰＵ５０にて受信し、その焦点調節情報に基づいて撮影レンズ駆動機構５１によって合焦状態に調節される。また５３は撮影レンズ５の瞳近傍に配設された絞り装置で、絞り駆動機構５２によって所定の絞り値に絞り込まれる。

また、ＣＰＵ２０は、撮影レンズ５の焦点状態を算出する機能を有する。

図２はイメージセンサの一部平面図である。「Ｒ」「Ｇ」「Ｂ」の文字は各画素のカラーフィルタの色相を表している。「Ｒ」の文字の書かれた画素は赤の成分の光を透過し、「Ｇ」の文字の書かれた画素は緑の成分の光を透過し、「Ｂ」の文字の書かれた画素は青の成分の光を透過する。図２においては「Ｒ」「Ｇ」「Ｂ」の色相をハッチングパターンで示している。また、「Ｒ」「Ｇ」「Ｂ」の各画素はいわゆるベイヤ配列にしたがって配置されている。

カラーフィルタの配列がベイヤ配列なので、１絵素は「Ｒ」「Ｂ」の画素と２つの「Ｇ」の画素から構成される。しかし、本実施形態のデジタルスチルカメラを構成するイメージセンサは「Ｒ」あるいは「Ｂ」であるべき画素の一部に、撮影レンズ５の一部の瞳領域を通過した光束を受光する焦点検出用画素が割り当てられている。図２中でＡ、Ｂで示した画素は撮影レンズ５の焦点状態を検出するための画素で、図３に示す電極１３１にてｘ方向（同図における横方向）の開口が制限されている。またＡ、Ｂは後述するように異なる瞳領域を通った光線が結像している。すなわち、焦点検出センサは、イメージセンサ１０の撮像面上に配置されている。

図２において、Ａ、Ｂで示した画素を隣接させ、可能な限り両者の距離を短くしている。この工夫により、Ａ、Ｂで示した画素が異なる模様のところを見てしまう可能性を最小限に抑えている。これにより焦点検出誤差を軽減させている。また、偶数ラインと奇数ラインで境界位置を一致させて、Ａ、Ｂで示した画素の位置を反転させている。このため、被写体のエッジ部がＡ、Ｂで示した画素の境界部にかかった場合においても、Ａ、Ｂで示した画素から得られる像の位相がずれてしまう場合には、両方同時に発生する。しかも、そのずれ量は等しく、方向が逆向きとなる。そこで本実施形態のデジタルスチルカメラでは、瞳分割方向と垂直方向に隣接するラインを少なくとも２つセットで相関演算を行うことで、焦点検出誤差を打ち消し合うようにしている。これは後述する１対の像の数の決定において、必ず偶数を指定することに対応する。これにより、焦点検出誤差を軽減することができる。

図３は、図２に示したイメージセンサ１０の、ｘ方向の開口が制限された画素と、全瞳領域を受光可能な画素の断面図である。図３の右側の画素は、撮影レンズ５の全瞳領域を受光可能であり、図中左側の画素は、ｘ方向の開口が制限されているために撮影レンズ５の一部の瞳領域からの光束を受光可能である。これについては図４を用いて後述する。

イメージセンサ１０は、シリコン基板１１０の内部に光電変換部１１１が形成されている。光電変換部１１１で発生した信号電荷は、不図示のフローティングディフュージョン部、第１の電極１３１及び第２の電極１３２を介して外部に出力される。光電変換部１１１と電極１３１との間には層間絶縁膜１２１が形成され、電極１３１と電極１３２との間には層間絶縁膜１２２が形成されている。また、電極１３２の光入射側には層間絶縁膜１２３が形成され、さらにパッシべーション膜１４０、平坦化層１５０が形成されている。平坦化層１５０の光入射側には、カラーフィルタ層１５１、平坦化層１５２及びマイクロレンズ１５３が形成されている。ここで、マイクロレンズ１５３のパワーは、撮影レンズ５の瞳と光電変換部１１１が略共役になるように設定されている。また、イメージセンサ１０の中央に位置する画素ではマイクロレンズ１５３は画素の中心に配設され、周辺に位置する画素では、撮影レンズ５の光軸側に偏位して配設される。

撮影レンズ５を透過した被写体光はイメージセンサ１０の近傍に集光される。さらにイメージセンサ１０の各画素に到達した光は、マイクロレンズ１５３で屈折され光電変換部１１１に集光される。通常の撮像に使う図中右側の画素では、入射する光を遮光しないように第１の電極１３１及び第２の電極１３２が配設されている。

一方、図中左側の撮影レンズ５の焦点検出を行う画素では、電極１３１の一部が光電変換部１１１を覆うように構成されている。その結果図中左側の焦点検出用画素では、撮影レンズ５の瞳の一部を透過する光束を受光可能となっている。また、電極１３１が入射光束の一部を遮光しているために光電変換部１１１の出力が小さくなるが、これを防ぐために、焦点検出用の画素のカラーフィルタ層１５４は光を吸収しない透過率の高い樹脂で形成されている。

図４Ａ、図４Ｂは、図２に示したＡ，Ｂの各画素の断面と瞳の関係を表した図である。図４Ａ、図４Ｂにおいて、左側の画素は、図２でＡの記号を付した画素（以下Ａ画素）に対応しており、図中右側の画素は、図２でＢの記号を付した画素（以下Ｂ画素）に対応している。図４Ａ、図４Ｂにおいて、１６０は撮影レンズ５の瞳を模式的に示したものであり、１１１ａ、１１１ｂは夫々Ａ画素、Ｂ画素の光電変換部を示している。図４Ａは瞳領域１６１ａを通過した光束の光路を説明する図であり、図４Ｂは瞳領域１６１ｂを通過した光束の光路を説明する図である
図４Ａ、図４Ｂに示したように、Ａ画素、Ｂ画素の開口はマイクロレンズ１５３の光軸に対して、異なる偏心量を持つように設けられている。このため図４Ａに示した瞳領域１６１ａを通過した光束はＡ画素の光電変換部１１１ａには到達するが、Ｂ画素の光電変換部１１１ｂには到達しない。反対に図４Ｂに示した瞳領域１６１ｂを通過した光束はＢ画素の光電変換部１１１ｂには到達するが、Ａ画素の光電変換部１１１ａには到達しない。

図４Ａ、図４Ｂに示した、撮影レンズ５の瞳の一部の領域を通過した光束を得ることが出来る瞳分割構造において、前述の２つの領域の相対的な位置を示す方向（本実施形態ではＸ軸方向）を瞳分割方向、光軸に直交する平面内で瞳分割方向と垂直な方向（本実施形態ではＹ軸方向）を瞳分割方向と垂直な方向として定義する。また、本発明の第１の実施形態では瞳分割方向がＸ軸方向に存在する画素のみをもつイメージセンサ１０について説明しているが、これと直角方向（Ｙ軸方向）に瞳分割方向を持つような画素を重畳したイメージセンサ１０でも良い。本発明は方向を瞳分割方向と瞳分割方向に垂直な方向として定義しているのでこれらに注意すれば、Ｙ軸方向に瞳分割方向を持つような焦点検出画素に対しても容易に適用できる。

図５Ａ〜図５Ｃは、撮影レンズ５の瞳１６０からＡ画素、Ｂ画素に入射する光束を模式的に示した図である。図５ＡはＡ画素、Ｂ画素に入射する領域と瞳の関係を示す図、図５ＢはＡ画素、Ｂ画素に入射する領域が瞳で切り取られる様子を示す図、図５Ｃは絞りを動作させたときにＡ画素、Ｂ画素に入射する領域が瞳で切り取られる様子を示す図である。

図５においてＡ画素に入射する領域を１６１ａ、Ｂ画素に入射する領域を１６１ｂで示すとともに、入射する比率を濃淡で示した。濃い領域からの光は多く入射し、薄い領域からの光は少量しか入射しない。瞳の領域により入射する比率が異なるのは、マイクロレンズの収差、光学パワーの合わせ込み誤差、光の回折などが原因である。

図５Ａに示すように撮影レンズ５の瞳１６０の外側にもＡ画素、Ｂ画素に入射する領域が存在するが、実際にはレンズでケラレが発生し、図５Ｂに示す様に瞳１６０で切り取られた範囲の光がイメージセンサ１０に到達する。さらに、絞り駆動機構５２によって所定の絞り値に絞り込まれた場合は図５Ｃに示すように絞られた瞳径で決まる領域でケラレて、図５Ｃ中の１６１ａ、１６１ｂの領域の光束がＡ画素、Ｂ画素に夫々入射する。絞りを変化させるなど撮影レンズ５の状態が変化すると、Ａ画素およびＢ画素に入射する光量も変化することが分かる。

図６は図５Ｂに示す領域からの光束を瞳分割方向と垂直な方向に積分して瞳分割方向の１次元的な像で表現したもので、焦点検出用画素群で生成される線像分布図に対応する。図６において１６２ａはＡ画素の線像分布を１６２ｂはＢ画素の線像分布をそれぞれ示している。図６から分かるようにＡ画素、Ｂ画素は入射角特性が異なっているために、デフォーカスした際にＡ画素の像とＢ画素の像には瞳分割方向の像ずれが発生する。前述の像ずれ量と図６の線像分布を考慮してデフォーカス量を求める、いわゆる位相差による焦点検出を行うことが可能となる。

図７および図８を用いて本実施形態に係わるカメラのイメージセンサの像高が変化した際に焦点検出センサにどのような信号が入るかを説明する。説明を簡単にするために図７においてＹ方向の像高を持つ点を用いて説明するが、Ｘ方向やＸ，Ｙいずれの方向に像高を持つ場合にも同様に考えることが出来る。

図７において５３は撮影レンズ５の瞳近傍に配設された絞り装置を、５３ａは絞り装置５３よりもイメージセンサ１０寄りに設けられた窓枠を、５３ｂは絞り装置５３よりもイメージセンサ１０から遠い側に設けられた窓枠を示す。また、１６５ａ，１６５ｂはイメージセンサ１０の中心から絞り５３に向かう光線を、１６６ａ，１６６ｂはイメージセンサ上でＹ方向に像高がある点から絞り５３に向かう光線を示す。さらに、１６７ａ，１６７ｂはイメージセンサ上でＹ方向に像高がある点に入射する光束のうち窓枠によって規定された光線を示している。

前述の窓枠はレンズ保持枠などで規定された点で、図７の例では、イメージセンサ１０の中心では窓枠５３ａ，５３ｂによって光線がけられることはない。しかし像高が高い位置では、絞り５３に向かう光線よりも内側に窓枠５３ａ，５３ｂが入り込むことによって、窓枠５３ａ，５３ｂで上下の光線にケラレが生じる場合がある。図７の例ではＹの正方向の光線は窓枠５３ａで規定され、Ｙの負方向の光線は窓枠５３ｂで規定される。これを模式的に示したのが図８Ａ〜図８Ｃである。

図８Ａ〜図８Ｃでは、図が煩雑になるので、Ａ画素の信号のみを示した。図８Ａ〜図８Ｃにおいて、１６１ａはＡ画素に入射する領域を示している。また１６１は絞り５３で規定される枠を、１６４ａ，１６４ｂは夫々窓枠５３ａ，５３ｂで規定される枠を示している。また図８Ａはイメージセンサ１０の中心から見た場合を説明する図、図８Ｂは像高の高い位置から見た場合を説明する図、図８Ｃは像高の高い位置から見た時に、Ａ画素に入射する領域が瞳で切り取られる様子を示す図である。

図７および図８Ａに示したようにイメージセンサ１０の中心から見た場合窓枠５３ａ，５３ｂは絞り５３よりも外側に位置するのでＡ画素に入射する光量を規定することはない。図７および図８Ｂに示したように、像高の高い位置から見た場合、窓枠５３ａ，５３ｂを瞳面上に投影した１６４ａ，１６４ｂは像高に応じて偏心する。図８ＢではＹの正方向の位置から見ているので、イメージセンサ１０に近い窓枠５３ａの投影像１６４ａはＹの負の方向に偏心し、イメージセンサ１０から遠い側の窓枠５３ｂの投影像１６４ｂはＹの正の方向に偏心する。結果として窓枠５３で規定される枠１６１よりも内側に入り込む領域が出てくる。ここで示した例では、図８Ｃに示すように窓枠５３，５３ａ，５３ｂの夫々の枠で決まる１６１，１６４ａ，１６４ｂでＡ画素に入射する領域１６１ａが切り取られる。図８Ｃから明らかなように、像高が高い箇所では焦点検出センサに届く光が少なくなり易い。このため後述する相関演算に用いる１対の像の数決定においては、これらを考慮して像高に応じて適切に１対の像の数を定める。

図９〜図１１は、本実施形態に関わるカメラの焦点調節及び撮影工程を説明するためのフローチャートである。

図９は本実施形態のデジタルスチルカメラのメインフローである。

撮影者がカメラの電源スイッチをオン操作すると（ステップＳ１０１）、ステップＳ１０２においてＣＰＵ５０はカメラ内の各アクチュエータや撮像素子の動作確認を行ない、メモリ内容や実行プログラムの初期化を行なうと共に、撮影準備動作を実行する。ステップＳ１０３では撮像面ＡＦを行うか否かを判定する。撮像面ＡＦを行う場合はステップＳ１０４でミラーアップとシャッター開放動作を行う。ステップＳ１０５では撮像素子の撮像動作を開始し、プレビュー用の低画素動画像を出力する。ステップＳ１０７では読み出した動画をカメラ背面に設けられた表示器に表示し、撮影者はこのプレビュー画像を目視して撮影時の構図決定を行なう。

ステップＳ１０９では、プレビュー用動画像に顔が存在するか否かを認識する。そして、撮影領域に顔が存在していると認識された場合には、ステップＳ１１１からステップＳ１１３に移行し、焦点調節モードを顔ＡＦモードに設定する。ここで顔ＡＦモードとは、撮影領域の顔に焦点を合わせるＡＦモードを指す。

一方撮影領域に顔が存在していない場合はステップＳ１１１からステップＳ１１５に移行し、焦点調節モードを多点ＡＦモードに設定する。ここで多点ＡＦモードとは、撮影領域を例えば３×５＝１５分割し、各分割領域で焦点検出を行ない、焦点検出結果と被写体の輝度情報から主被写体を類推し、その領域を合焦させるモードを指す。

ステップＳ１１３あるいはステップＳ１１５でＡＦモードを決定したら、ステップＳ１１７で焦点検出領域を決定する。ステップＳ１２１では、撮影準備スイッチがオン操作されたか否かを判別し、オン操作されていなければステップＳ１０５に戻り、撮像素子駆動からステップＳ１１７の焦点検出領域の決定を繰り返し実行する。

ステップＳ１２１で撮影準備スイッチがオン操作されるとステップＳ１３１に移行し、焦点検出サブルーチンを実行する。

図１０は焦点検出サブルーチンのフローチャートである。

メインフローのステップＳ１２１から当サブルーチンのステップＳ１３１にジャンプすると、ステップＳ１３３においては、メインルーチンのステップＳ１１７で決定した焦点検出領域に含まれる焦点検出用画素を読み出す。ステップＳ１３５では、図２に説明した焦点検出用画素の信号レベルを求める。例えば、焦点検出画素の全ての信号の平均値などを信号レベルの代表値として与える。ステップＳ１３７では、ステップＳ１３５で求めた信号レベル、および撮影レンズ５の光学状態、像高、さらに図２で説明した画素配置などを勘案して相関演算を行うべき１対の像の数を決定する。図２で説明した画素配列においては、偶数個の１対の像を指定することが都合がよい。また、ここで説明した１対の像の数を決定することは、後述する式（２）においてｎjを求めることに対応する。ステップＳ１３９では得られた１対の像の相関演算を行ない、１対の像の相対的な位置ずれ量を計算する。

なお、相関演算の演算式は様々なものが提案されているが、その一例として式（１）に示すような１対の像の差の絶対値を加算したものが従来より提案されている。

式（１）
式（１）においてＡi，ＢiはそれぞれＡ画素、Ｂ画素のｉ番目の画素の輝度を表している。またｎiは演算に用いる画素数を表す数字で、測距視野長などに応じて適切に設定される。例えば、式（１）のＣＯＲ(k)が最小となるkを合焦位置としてデフォーカス量を算出する。すなわち、従来では、１対の像をk画素ずらした状態で、行方向のｉ番目の各Ａ画素とＢ画素の差の絶対値を取り、その絶対値を行方向の複数画素について加算する。そしてこの加算値であるＣＯＲ(k)が最も小さくなる状態が合焦状態と考え、その加算値ＣＯＲ(k)が最も小さくなるずらし量k画素をデフォーカス量と考える。

これに対し、本実施形態では、２次元的な像を瞳分割方向のみにk画素分動かして各Ａ画素とＢ画素の差分をとり、複数列について加算するので相関演算の式は式（２）で定義される。

式（２）
式（２）においてＡij，ＢijはそれぞれＡ画素、Ｂ画素のj列目ｉ番目の画素の輝度を表している。またｎiは演算に用いる画素数を表す数字、ｎjはステップＳ１３７で定めた相関演算を行う１対の像の列方向の数である。式（１）と同様に式（２）のＣＯＲ(k)が最小となるkを合焦位置としてデフォーカス量を算出する。ここで注意するのは添え字kはｉにのみ加算されてｊとは無関係である。これは、２次元的な像を瞳分割方向のみに移動させながら相関演算をしていることに対応する。

ステップＳ１４１では、相関演算結果の信頼性を判定する。ここで信頼性とは、２像の一致度を指し、２像の一致度が良い場合は一般的に焦点検出結果の信頼性が高い。そこで、複数の焦点検出領域が選択されている場合は、信頼性の高い情報を優先的に使用する。

ステップＳ１４３では、上記の信頼性の高い検出結果から焦点ずれ量を演算する。そしてステップＳ１４５にて図９のメインフロー内のステップＳ１５１にリターンする。

図９のステップＳ１５１では、図１０のステップＳ１４３で計算した焦点ずれ量が許容値以下か否かを判断する。そして焦点ずれ量が許容値以上である場合は、非合焦と判断し、ステップＳ１５３でフォーカスレンズを駆動し、その後ステップＳ１３１、ステップＳ１５１を繰り返し実行する。そしてステップＳ１５１にて合焦状態に達したと判定されると、ステップＳ１５５にて合焦表示を行ない、ステップＳ１５７に移行する。

ステップＳ１５７では、撮影開始スイッチがオン操作されたか否かを判別し、オン操作されていなければステップＳ１５９に移行し撮影待機状態を維持するか否かを判別する。撮影待機状態を維持する場合は再びステップＳ１５７に移行する。撮影待機状態を解除する場合は、ステップＳ１０５に戻って再びプレビュー動作などを行う。ステップＳ１５７で撮影開始スイッチがオン操作されるとステップＳ１６１に移行し、撮影サブルーチンを実行する。

図１１は撮影サブルーチンのフローチャートである。

撮影開始スイッチが操作されると、ステップＳ１６１を経由して、ステップＳ１６３では光量調節絞りを駆動し、露光時間を規定するメカニカルシャッタの開口制御を行なう。シャッタの駆動は一旦シャッタを閉じた後に再走行させても良いし、電気的にリセット動作を行った後にシャッタを閉となるように走行させても良い。ステップＳ１６５では、高画素静止画撮影のための画像読み出し、すなわち全画素の読み出しを行なう。ステップＳ１６７では読み出した画像信号の欠損画素補間を行なう。すなわち、焦点検出用画素の出力は撮像のためのＲＧＢカラー情報を有しておらず、画像を得る上では欠陥画素に相当するため、周囲の撮像用画素の情報から補間により画像信号を創生する。

ステップＳ１６９では、画像のγ補正、エッジ強調等の画像処理をおこない、ステップＳ１７１において、メモリ回路２２に撮影画像を記録する。ステップＳ１７３では、表示器２８に撮影済み画像を表示し、ステップＳ１７５で図９のメインフローにリターンする。

図９のメインフローに戻ると、ステップＳ１９９にて一連の撮影動作を終了する。

次に、図１２〜図１５を用いて本実施形態の動作を具体的に説明する。

図１２、図１４はＡ画素、Ｂ画素から得られた像（以下Ａ像とＢ像）を示す図であり、図中の横方向が瞳分割方向、縦方向が瞳分割方向と垂直な方向を示している。図１２、図１４の画素の濃淡は各画素に入射する光量を示しており、淡い画素は光量が多く、濃い画素は光量が少ないことを模式的に示している。加算画素は加算された結果、光量が多い場合は淡く、光量が少ない場合は濃く示している。図１３、図１５は図１２および図１４の画像を式（１）、式（２）を用いて相関量を求めた結果である。

図１２の取得Ａ像、取得Ｂ像は、１１画素（Ｘ方向）ｘ４画素（Ｙ方向）のＡ像とＢ像の画像を示している。加算Ａ像は取得Ａ像の瞳分割方向と垂直な方向（図１２中では縦方向（Ｙ方向））の画素を加算した像を、加算Ｂ像は取得Ｂ像の瞳分割方向と垂直な方向の画素を加算した像をそれぞれ示している。測距視野は中心付近９画素に設定されている。

また、図１２の取得Ａ像の上から順に１ライン目は２画素ピッチの繰り返しパターンを、２ライン目は３画素ピッチの繰り返しパターンを、３ライン目は４画素ピッチの繰り返しパターンを、４ライン目は５画素ピッチの繰り返しパターンを夫々示している。図１２のＢ像はＡ像に対してＢ像が右に１ｂｉｔシフトした像である。

図１３において１７１は、本実施形態で提案した式（２）を用いて計算した相関量、１７２は加算像（上述の加算Ａ像及び加算Ｂ像）に対して式（１）を用いて計算した相関量を示す。また、１７３はライン１に対して式（１）を用いて計算した相関量、１７４はライン３に対して式（１）を用いて計算した相関量を示す。但し、本実施形態で提案した２次現像をずらして相関量を求めるライン数はｎj＝４とした。なお、このライン数ｎｊ（偶数）は、被写体像の明るさ、被写体像の像高、撮影レンズの光学状態、或いは焦点検出センサの構造等に応じて変化させるとよい。ライン１は２画素ピッチの画像なので、図１３の１７３に示したように真の像ずれ量１７０（＝１ｂｉｔ）に対して２画素ずらすたびに相関量が最小になる点が現れる。図１３では１７３が−１の箇所でも相関量＝０となる。結果としてライン１は１ｂｉｔ、−１ｂｉｔのいずれかの位置を合焦位置と判断してデフォーカス量を計算する。

ライン３は４画素ピッチの画像なので、４画素ずらすたびに相関量が最小になる点が現れる。そのため図１３に示した像ずらし量（＝±２ｂｉｔ）の範囲では真の像ずれ量１７０（＝１ｂｉｔ）の箇所のみで相関量が最小になる。

図１３ではライン１、ライン３について説明したが他のラインに関しても繰り返しピッチごとに相関量が最小になる点が現れ偽の合焦位置を判断する可能性がある。

例えば図１３においてライン１の信号１７３の２つの最小を示す点のうち偽の像ずれ量（−１ｂｉｔ）を誤って選択した場合、ライン３の測距値と単純平均すると、０ｂｉｔをデフォーカス量として判断してしまう。その結果、実際にはピントがずれているにも関わらず合焦と判断するなどの不具合を生じる可能性がある。

一方、加算像の相関量１７２および本実施形態の相関量１７１では真の像ずれ量１７０で急峻なボトムを持つ。縦軸を見れば明らかなように加算や本実施形態の方法によって相関量が最小になる像ずれ量とその他の箇所の相関量が大きく変化することから、Ｓ／Ｎも向上していることが分かる。またＳ／Ｎは本実施形態の相関量のほうが加算像よりも優れていることが分かる。

図１４は、図１２と同様に１１画素ｘ４画素のＡ像、Ｂ像およびその加算像を示している。図１４の像はライン１、ライン２はＡ像に対してＢ像が左に１ｂｉｔシフトしており、ライン３、ライン４はＡ像に対してＢ像が右に１ｂｉｔシフトしている。

これはライン１，２とライン３，４で異なる被写体像が写っている状況に対応する。例えばライン１、ライン２は近距離の被写体、ライン３、ライン４は背景が写っている場合などである。また図１４に示したようにライン１、ライン２に写った近距離の被写体の方が明るい場合について説明を行う。

図１５において、１８１は、本実施形態で提案した式（２）を用いて計算した相関量、１８２は加算像に対して式（１）を用いて計算した相関量を示す。また、１８３はライン１に対して式（１）を用いて計算した相関量、１８４はライン３に対して式（１）を用いて計算した相関量を示す。但し、本実施形態で提案した相関量を求めるライン数はｎj＝４とした。

ライン１、２はＡ像に対してＢ像が左に１ｂｉｔシフトしているので、ライン１の相関量の最小値１８０ｃは−１ｂｉｔとなる。一方、ライン３、ライン４はＡ像に対してＢ像が右に１ｂｉｔシフトしてので、ライン３の相関量の最小値１８０ａは＋１ｂｉｔとなる。どちらも像の一致度は良いので高い信頼性を持つデータとして加算平均された場合、０ｂｉｔの位置を合焦として判断する。その結果、近距離の被写体または背景のいずれにもピントが合わない。

一方加算像の相関量の最小値１８０ｂは０ｂｉｔを示している。結果として加算像を用いて相関演算を行ってデフォーカス量を求めると、近距離の被写体に対してピントが合う位置１８０ｃでも背景に対してピントが合う位置１８０ａでもない場所を合焦として判断しかねない。１８０ｂを合焦とした場合は、近距離の被写体または背景のいずれにもピントが合わない。

一方、本実施形態に示した相関量の最小値は近距離の被写体１８０ｃに対してボトムを持っている。近距離、背景のいずれの被写体が選ばれるかは、加算されるラインに含まれる被写体像信号から自動的に決定される。近距離の被写体または背景のいずれかにピントが合い、どちらにもピントが合わないということを避けることが出来る。

本実施形態によれば、複数の１対の焦点検出像から１つの測距値を得る焦点検出装置において、焦点検出演算のＳ／Ｎを改善し低輝度状態での焦点検出を適切に行うことができる。また、遠距離および近距離の被写体が混在するような環境でも適切な被写体が測距対象として選ばれる。

（第２の実施形態）
図１６、図１７は本発明の第２の実施形態を説明する図である。以下にこれらを用いて本発明の第２の実施形態について説明する。

図１６は本実施形態の焦点検出装置を備えたカメラの断面図である。図１６において１０はイメージセンサ（固体撮像装置）で、デジタルスチルカメラ１の撮影レンズ５の予定結像面に配置されている。処理回路などの電気的な構成は第１の実施形態と同様なのでここでは省略する。

図１６に示した装置では操作者が構図を決めている状態では、クイックリターンミラー２００によって光路が変更され被写体像を観察するための接眼レンズ３に光束を導く。同時にクイックリターンミラー２００は半反射面になっており、残りの光束は焦点検出センサ２０５に導かれる。

瞳分割手段に関して図１６および図１７を用いて説明する。

図１６、図１７において、２０１はフィールドレンズ、２０２は視野マスク、２０３は瞳分割マスク、２０４ａ，２０４ｂは２次結像レンズ、２０５は焦点検出センサを示している。視野マスク２０２は撮影レンズ５の予定結像面近傍に設けられ焦点検出範囲を規定する。２次結像レンズ２０４ａ，２０４ｂからみて撮影レンズ５に近い側には絞り孔２０３ａ，２０３ｂを有する瞳分割マスク２０３が設けられている。絞り孔２０３ａ，２０３ｂは２次結像レンズ２０４ａ，２０４ｂに入射する光束を規制する。瞳分割マスク２０３の位置はフィールドレンズ２０１のパワーにより撮影レンズ５の射出瞳と共役な位置に略結像するような関係に置かれている。

１対の２次結像レンズ２０４ａ，２０４ｂは、視野マスク２０２で決定された領域の被写体像を焦点検出センサ２０５の受光エリアの対２０６ａ，２０６ｂ上に結像させる。焦点検出センサ２０５の受光エリアの対２０６ａ，２０６ｂ上の被写体像信号は電気信号として読み出され焦点検出演算に用いられる。前述の受光エリアの対２０６ａ，２０６ｂから得られた信号の適宜な位置の演算を行うことで、測距視野に対応したデフォーカス量を得ることが出来る。

焦点検出動作のフローチャートを図１８に示す。焦点検出サブルーチンおよび撮影サブルーチンは第１の実施形態で示した図１０、図１１のフローチャートにしたがって行う。

図１８に示したフローチャートでは、第１の実施形態と同じ動作をするものには同じ番号を付している。以下に第１の実施形態との違いについて説明する。

第１の実施形態との違いはステップＳ１０３およびステップＳ１０４が無いことである。本実施形態はいわゆる２次結像光学系に、半透過のクイックリターンミラーを通して光束を導くためミラーアップ動作やシャッター開放動作が必要ない。また撮影サブルーチン内のステップＳ１６３では第１の実施形態ではシャッター閉→再走行という動作をしたが、本実施形態ではステップＳ１６３に到達した時にシャッターは閉状態にあるので、従来の銀塩カメラなどと同様のシャッター走行動作をすればよい。その他の動作は第１の実施形態と同じである。

図１７に示したように、本実施形態に示した焦点検出センサ２０５は受光エリアが２次元的に広がるいわゆるエリアセンサである。このようなセンサには本発明を容易に適用できる。

具体的には図１０のステップＳ１３３において前述の焦点検出センサ２０５の信号を読み出す。ステップＳ１３５において信号レベルを計算した後に、ステップＳ１３７で適宜な位置と１対の像の数を決定する。これは焦点検出センサ２０５から相関演算に用いるための像を２次元的に切り出すことに対応する。それ以後は第１の実施形態と同様の動作をする。

本実施形態によれば、複数の１対の焦点検出像から１つの測距値を得る焦点検出装置において、焦点検出演算のＳ／Ｎを改善し低輝度状態での焦点検出を適切に行うとともに、遠距離および近距離の被写体が混在するような環境でも適切な測距点が選ばれる。

（他の実施形態）
また、各実施形態の目的は、次のような方法によっても達成される。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、本発明には次のような場合も含まれる。すなわち、プログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

さらに、次のような場合も本発明に含まれる。すなわち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した手順に対応するプログラムコードが格納されることになる。

第１の実施形態におけるカメラの構成図である。イメージセンサの一部平面図である。イメージセンサの一部断面図である。焦点検出センサに入射する領域を説明する図である。焦点検出センサに入射する領域を説明する図である。瞳面上での焦点検出用画素への入射特性を説明する図である。瞳面上での焦点検出用画素への入射特性を説明する図である。瞳面上での焦点検出用画素への入射特性を説明する図である。線像の説明図である。レンズの窓枠を説明する図である。窓枠でのケラレを説明する図である。窓枠でのケラレを説明する図である。窓枠でのケラレを説明する図である。デジタルスチルカメラの動作を示すメインフローチャートである。焦点検出サブルーチンを示すフローチャートである。撮影サブルーチンを示すフローチャートである。焦点検出センサから得られた像の例を示す図である。相関演算結果を示す図である。焦点検出センサから得られた像の例を示す図である。相関演算結果を示す図である。第２の実施形態におけるカメラの構成図である。瞳分割部の構成を示す図である。第２の実施形態のデジタルスチルカメラのメインフローチャートである。

符号の説明

１カメラ
３ファインダ
５撮影レンズ
１０イメージセンサ
２０カメラＣＰＵ
５０レンズＣＰＵ
５３絞り
５３ａイメージセンサ側窓枠
５３ｂ被写体側窓枠

Claims

被写体像を結像させる撮影光学系の結像面の近傍に設けられた撮像素子と、
前記撮影光学系の異なる瞳領域を通った１対の光束を結像させる瞳分割手段と、
２次元的に配置され前記瞳分割手段の像を光電変換する焦点検出センサと、
前記焦点検出センサにより生成される、前記瞳分割手段の瞳分割方向及び瞳分割方向と垂直な方向に延びる１対の２次元的な像から１つの測距値を得るために、前記１対の２次元的な像を瞳分割方向にシフトさせながら前記１対の２次元的な像の相関量を演算する相関演算手段と、
を備えることを特徴とする撮像装置。
前記焦点検出センサは、前記撮像素子の撮像面上に配置されていることを特徴とする請求項１に記載の撮像装置。
前記相関量の演算に用いる瞳分割方向と垂直な方向の１対の像の数を被写体の明るさに応じて変化させることを特徴とする請求項１に記載の撮像装置。
前記相関量の演算に用いる瞳分割方向と垂直な方向の１対の像の数を被写体像の像高に応じて変化させることを特徴とする請求項１に記載の撮像装置。
前記相関量の演算に用いる瞳分割方向と垂直な方向の１対の像の数を前記撮影光学系の光学状態に応じて変化させることを特徴とする請求項１に記載の撮像装置。
前記相関量の演算に用いる瞳分割方向と垂直な方向の１対の像の数を前記焦点検出センサの構造に応じて変化させることを特徴とする請求項１に記載の撮像装置。
被写体像を結像させる撮影光学系の結像面の近傍に設けられた撮像素子と、前記撮影光学系の異なる瞳領域を通った１対の光束を結像させる瞳分割手段と、２次元的に配置され前記瞳分割手段の像を光電変換する焦点検出センサと、を備える撮像装置を制御する方法であって、
前記焦点検出センサにより生成される、前記瞳分割手段の瞳分割方向及び瞳分割方向と垂直な方向に延びる１対の２次元的な像から１つの測距値を得るために、前記１対の２次元的な像を瞳分割方向にシフトさせながら前記１対の２次元的な像の相関量を演算する相関演算工程を備えることを特徴とする撮像装置の制御方法。
請求項７に記載の制御方法をコンピュータに実行させるためのプログラム。