JP6685712B2

JP6685712B2 - 画像処理装置、距離検出装置、焦点調節装置、撮像装置、画像処理方法およびプログラム

Info

Publication number: JP6685712B2
Application number: JP2015243359A
Authority: JP
Inventors: 武志小川
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2015-12-14
Filing date: 2015-12-14
Publication date: 2020-04-22
Anticipated expiration: 2035-12-14
Also published as: US20170171459A1; US10200591B2; JP2017111195A

Description

本発明は、画像処理装置、距離検出装置、焦点調節装置、撮像装置、画像処理方法およびプログラムに関する。

従来、位相差検出方式の焦点検出を行うカメラにおいて、焦点検出領域内に、被写体距離が異なる２つの被写体（主被写体と背景など）が存在する場合、これらの被写体像を同時に評価するいわゆる遠近競合によって、焦点検出を正確に行えない場合がある。そこで、特許文献１は、合焦状態に近い画素と、そうでない画素に分類して、それぞれを相関演算する方法を開示している。特許文献２は、合焦状態に近い領域と遠い領域に分け、それぞれを相関演算する方法を開示している。

特開２０１３−２５７５１２号公報特開２０１５−１０２７３５号公報

特許文献１と２は、遠距離被写体と近距離被写体の一方に相関が高い条件では、もう一方に対して相関が低くなるという原理を用いて、両被写体を分離しているため、両被写体間に十分な距離を必要とする。つまり、両被写体のどちらか一方に対して位相差の相関が高くなる条件を最初に見つける必要がある。ところが、両被写体間に十分な距離がない場合、両被写体間の中間距離において、位相差の相関が高くなってしまい、遠近競合状態であることすら検出できなくなってしまう。

本発明の目的は、被写体距離が異なる複数の被写体を高精度に分離することが可能な画像処理装置、距離検出装置、焦点検出装置、撮像装置、画像処理方法およびプログラムを提供することである。

本発明の画像処理装置は、光学系の異なる射出瞳領域を通過した光束から得られる一対の像信号の相関が最も高い位相差である第１の位相差と、前記第１の位相差の所定範囲内にある第２の位相差を検出する第１の位相差検出手段と、前記一対の像信号が前記第１の位相差を有する場合の一致度を示す信号と、前記一対の像信号が前記第２の位相差を有する場合の一致度を示す信号を比較する比較手段と、該比較手段による比較結果に基づいて、前記一対の像信号に含まれる特定の被写体に関する一対の信号成分を分離する信号分離手段と、該信号分離手段によって分離された前記一対の信号成分に対して相関が最も高い位相差を検出する第２の位相差検出手段と、を有することを特徴とする。

本発明によれば、被写体距離が異なる複数の被写体を高精度に分離することが可能な画像処理装置、距離検出装置、焦点調節装置、撮像装置、画像処理方法およびプログラムを提供することができる。

本発明の撮像装置のブロック図と撮像素子の断面図である。（実施例１）ＡＢ像および処理過程の信号波形図である。（実施例１）遠近競合状態を説明するための図である。（実施例１）図１に示す第１の相関演算部の出力を示す図である。（実施例１）図１に示す演算制御部が実行する画像処理方法を示すフローチャートである。（実施例１）正規化相関演算の回路図である。（実施例１）本発明で得られる比較信号波形である。（実施例２）本発明の撮像装置のブロック図である。（実施例２）

以下、本発明の実施例を、添付図面に基づいて詳細に説明する。

図１（ａ）は、実施例１の撮像装置１００のブロック図である。撮像装置１００は、デジタルカメラ、テレビカメラ、携帯電話、スマートホンなどを含む。撮像装置１００は、レンズ一体型であってもよいし、一眼レフカメラやノンリフレックスカメラ（ミラーレスカメラ）のようなレンズ交換式であってもよい。実施例１では、撮像装置１００はレンズ一体型である。本発明は、例えば、デジタル距離計測装置などの距離検出装置にも適用することができる。

撮像装置１００は、撮像光学系１０１、撮像素子１０２、加算部１０３、信号処理部１０４、表示記録部１０５、像取込部１０６、記憶部１０７、画像処理部１２０、カメラ制御部１１４、設定部１１５を有する。画像処理部（画像処理手段）１２０は、図１（ａ）に点線で示すように、第１の相関演算部１０８、像生成部１０９、像比較部１１０、信号分離部１１１、第２の相関演算部１１２、演算制御部１１３を有する。画像処理手段は、専用の画像処理装置として構成されたり、そのように機能するプログラム（ソフトウェア）がインストールされたパーソナルコンピュータ（ＰＣ）として構成されたりするなど、撮像装置１００と別体に構成されてもよい。

撮像光学系（結像光学系）１０１は、撮像素子１０２の撮像面に被写体の光学像（被写体像）を形成し、焦点距離を変更するズームレンズ（変倍レンズ）、光量を調節する絞り、焦点調節を行うフォーカスレンズを有する。

撮像素子１０２は、ＣＣＤセンサやＣＭＯＳセンサ等により構成され、撮像光学系１０１が形成した光学像を光電変換することによってアナログ電気信号を出力する。撮像素子１０２の出力は不図示のＡ／Ｄ変換器により、デジタル電気信号に変換されて加算部１０３と像取込部１０６に供給される。

撮像装置１００は、位相差検出方式の焦点検出（位相差ＡＦ）を行う。ここで、位相差ＡＦとは、撮像光学系１０１の異なる射出瞳領域を通過した光束によって生成された一対の被写体像（後述するＡ像とＢ像）の像信号の位相差を検出することによって焦点検出を行う焦点検出方式をいう。位相差ＡＦは、専用の位相差ＡＦユニットで実行されてもよいし、本実施例のように、撮像素子１０２が、位相差ＡＦ手段として機能してもよい。

図１（ｂ）は、撮像素子１０２の画素構造を示す断面図である。撮像素子１０２は、マイクロレンズ１０２ａ、ＲＧＢ等のカラーフィルタ１０２ｄ、Ａ像用の光電変換素子１０２ｃ、Ｂ像用の光電変換素子１０２ｄを有する。配線層などは省略されている。各光電変換素子は、フォトダイオードなどにより構成され、副画素として機能する。通常の撮像素子では光電変換部１０２ｃ、ｄが１つの光電変換部（画素）になっているが、本実施例では、光電変換部が複数に分割されている。分割数および分割方向は限定されない。１つのマイクロレンズ１０２ａを２つの光電変換素子１０２ｃ、ｄで共有することにより、それぞれ異なる射出瞳を通過した光束を光電変換することができる。

本実施例では、瞳分割を行うマイクロレンズ１０２ａの下に複数の光電変換部１０２ｃ、ｄを設け、これらの光電変換部の出力から一対の被写体像の像信号を形成している。しかしながら、撮像素子１０２が位相差ＡＦ手段の機能を有する場合は本実施例には限定されない。例えば、マイクロレンズの下に遮光部と焦点検出用画素が配置されるが、遮光部の開口位置が異なる２種類の焦点検出用画素の出力を組み合わせて一対の被写体像の像信号を形成する方式であってもよい。この場合は、左半分が開口した遮光部が設けられた焦点検出用画素の出力と右半分が開口した遮光部が設けられた焦点検出用画素の出力を組み合わせる。

Ａ像は、射出瞳内の第１の領域（例えば、射出瞳の半分の領域）を通る光束が形成する被写体像であり、Ｂ像は、射出瞳内の第１の領域とは異なる第２の領域（例えば、射出瞳の残り半分の領域）を通る光束が形成する被写体像である。各画素において、撮像光学系１０１の射出瞳の半分ずつを通った光束から生成される一対の被写体像の像信号の位相は互いに左右でシフトしている。このため、２つの像信号から被写体像の相対位置関係であるずれ量（位相差）を求めることによってデフォーカス量を算出することができ、焦点検出に使用することができる。また、フォーカスレンズの位置とデフォーカス量の和から被写体距離を算出することができる。更に、光電変換素子１０２ｃからの画素信号を集めて構成した画像と光電変換素子１０２ｄからの画素信号を集めて構成した画像では、視差が生じており、この視差を利用してステレオ画像を得ることができる。光電変換素子１０２ｃ、ｄから得られる信号を加算することによって通常の撮像素子と同様の瞳開口をもった被写体像の情報を得ることができる。

加算部１０３は、撮像素子１０２から出力される瞳分割されたＡ像信号とＢ像信号を加算して通常のベイヤー配列の撮像素子１０２と同様の信号に戻す。

信号処理部１０４は、撮像素子１０２からの信号に、γ処理やホワイトバランス等の処理を施すことによって映像信号に変換する。映像信号は、表示記録部１０５に表示されたり、加工されて記録されたりする。表示記録部１０５は、液晶ディスプレイなどの表示手段や各種のメモリ、着脱可能な媒体などの記録手段を含む。

像取込部１０６は、撮像素子１０２から得られる信号から、焦点検出に用いられる画面の特定の部分（焦点検出領域）の信号を切り出し、それぞれＲＧＢの信号から輝度信号に変換し、記憶部１０７に保存する。記憶部１０７は、ＲＯＭ、ＲＡＭなどのメモリ（記憶手段）である。以後、記憶部１０７から繰り返し信号の読み書きを行いながら演算処理が行われる。

演算制御部１１３による制御の下、サブモジュールである第１の相関演算部１０８〜第２の相関演算部１１２による処理が行われる。本発明の画像処理は、特許文献２のようなブロック（例えば、一画面における２０画素×２０画素に対応する領域）ごとではなく、データ列の構成要素ごと、あるいは、処理可能な最小の信号量（例えば、ＲＧＢデータであれば８ビット）を単位として行われる。

第１の相関演算部（第１の位相差検出手段）１０８は、第１の相関演算を行い、一対の像信号の相関が最も高い位相差を含む（例えば、前記位相差を中心とする、でもよい）所定範囲内にある２つの位相差（第１の位相差と第２の位相差）を検出する。本実施例では、第１の位相差は、一対の像信号の相関が最も高い位相差であり、第２の位相差は、第１の位相差の近傍で相関が２番目に高い位相差である。しかしながら、一対の像信号の相関が最も高い位相差を中心とする所定範囲内にある２つの位相差であれば、本実施例に限定されない。２つの位相差は、仮想焦点面を僅かに動かすことができるように互いに近傍の位置に配置されている。所定範囲とは、一対の像信号の相関が最も高い位相差の極とは別の極を含まない範囲である。なお、演算制御部１１３は、第１の相関演算部が行う第１の相関演算の結果を利用して第１の位相差と第２の位相差を検出してもよい。第１の相関演算は、差分絶対値和（ＳＡＤ：ＳｕｍｏｆＡｂｓｏｌｕｔｅＤｉｆｆｅｒｅｎｃｅ）演算法により、Ａ像とＢ像の一方の他方に対するシフト量（位相差）を変更させながら最も相関（一致度）が高い位相（シフト量）を導出する。相関の高いシフト量が分かれば、そのシフト量に基線長で決まる所定の係数をかけることでデフォーカス量が求まる。なお、相関演算方法はＳＡＤに限定されず、差分二乗和（ＳＳＤ）や正規化相互相関（ＮＣＣ）等の他の方法を用いてもよい。

像生成部１０９は、Ａ像とＢ像が最も相関の高いシフト量を有する場合と、該シフト量の近傍（通常は±１）のシフト量であって２番目に相関の高いシフト量を有する場合について、差の絶対値の像信号（即ち、｜Ａ−Ｂ｜）を生成する生成手段として機能する。

像比較部１１０は、像生成部１０９によって生成された二つの差を比較、具体的には、減算を行い、結果を記憶部１０７に書き込む。像比較部１１０は、前記一対の像信号が第１の位相差を有する場合の一致度を示す信号と、第２の位相差を有する場合の一致度を示す信号を比較する比較手段として機能する。なお、演算制御部１１３がこの機能を有してもよい。

信号分離部１１１は、像比較部１１０の出力波形（比較結果）に基づいて、前記一対の像信号に含まれる特定の被写体に関する一対の信号成分を分離する信号分離手段として機能し、ＡＢ像を分類した結果として属性情報を記憶部１０７に書き込む。信号分離部１１１は、例えば、Ａ像信号において、近距離被写体に関する信号と遠距離被写体に関する信号を分離し、Ｂ像信号において、近距離被写体に関する信号と遠距離被写体に関する信号を分離する。なお、演算制御部１１３がこの機能を有してもよい。

第２の相関演算部（第２の位相差検出手段）１１２は、信号分離部１１１の出力した属性情報と像取込部１０６が書き込んだＡＢ像を用いて、ＳＡＤなどの方法によって第２の相関演算を行う。即ち、第２の相関演算部１１２は、信号分離部１１１によって分離された前記一対の信号成分に対して相関が最も高い位相差を検出する。第２の相関演算部１１２は、例えば、信号分離部１１１によって分離されたＡ像信号における近距離被写体に関する信号とＢ像信号における近距離被写体に関する信号を用いて相関演算を行い、相関が最も高いシフト位置（位相差）求める。第２の相関演算部１１２は、第１の相関演算部１０８と一体であってもよい。また、演算制御部１１３がこの機能を有してもよい。

演算制御部１１３は、デフォーカス量、被写体距離などを算出する。カメラ制御部１１４は、画像処理手段の出力に基づいて撮像光学系１０１の（フォーカスレンズの）駆動制御（焦点調節）を行う制御手段として機能する他、撮像装置の各部を制御する。演算制御部１１３とカメラ制御部１１４は、夫々マイクロコンピュータから構成され、一体であってもよい。

設定部１１５は、ユーザが撮像装置１００に各種の設定、入力、選択などを行うことを可能にするボタン、ダイヤル、レバー、スイッチ、タッチパネル、キーなどからなる設定手段（入力手段）である。例えば、設定部１１５は、ユーザが焦点検出領域（ＡＦ枠）を設定することを可能にする。演算制御部１１３は、焦点検出領域の焦点検出用画素の出力信号を演算することによって焦点検出領域に対してデフォーカス量（焦点ずれ量）を演算する。焦点検出領域は、例えば、ライブビュー時に表示記録部１０５の液晶モニタに表示される。

次に、図３を用いて、本発明が解決可能な遠近競合状態について説明する。

図３（ａ）は、遠近競合が起こる撮影状況を示す図である。背景の木Ｔと主被写体の人物Ｈの両方が、ユーザＵが保持する撮像装置１００の焦点検出領域内に入ることで遠近競合となる。図３（ｂ）は、図３（ａ）に示す状況における、ＳＡＤによる相関像を示す図である。図３（ｂ）において、横軸は図３（ａ）に対応したシフト量（位相）、縦軸は評価値（ＳＡＤ値）である。

一致度が高いシフト量ほどＳＡＤ値が小さな値となるため、最もＳＡＤ値が低いシフト量を検出することが望ましい。図３（ａ）に示す状況の場合、図３（ｂ）に示すように一致度の高いシフト量が２箇所存在する。３０１は背景の木Ｔのデフォーカス量に対応した部分、３０２は人物Ｈに対応した部分である。このような状況で遠距離被写体（木Ｔ）と近距離被写体（人物Ｈ）を分離する方法は、特許文献１や２に開示されている。

一方、図３（ｃ）に示すように、木Ｔと人物Ｈの距離が近い場合には、図３（ｄ）に示すように、背景と主被写体の中間位置３０３の一ヵ所において極小を検出してしまい、特許文献１や２に開示されている方法では遠近被写体の分離ができない。また、図３（ｄ）では、中間位置３０３にピントを合わせてしまうために、どこにもピントが合っていない画像が撮影されてしまう。なお、図３（ｄ）において、横軸は図３（ｃ）に対応したシフト量、縦軸は評価値である。

図５は、演算制御部１１３が実行する画像処理方法を説明するフローチャートである。図５において、「Ｓ」はステップ（工程）を表し、図５に示す画像処理方法は、コンピュータが各ステップの機能を実行するためのプログラムとして具現化が可能である。かかるプログラムは、撮像装置１００の記憶手段（例えば、表示記録部１０５や非一時的なコンピュータ可読記憶媒体）に記憶可能である。

記憶部１０７にＡ像とＢ像が記憶された状態でフローが開始する。記憶部１０７に、図２（ａ）に示す遠近競合状態の波形が記録されたとする。２０１はＡ像信号、２０２はＢ像信号を表している。向かって左側の振幅が遠距離被写体、右側の振幅が近距離被写体を表している。横軸は水平位置、縦軸はバンドパスフィルタをかけた後の信号出力値（輝度値）である。

まず、Ｓ５０１において、演算制御部１１３は、第１の相関演算部１０８を起動して、最も相関の高い（即ち、極小の）シフト量を検出する。図４（ａ）は、第１の相関演算部１０８により演算された結果である信号４０１を示しており、横軸はシフト量、縦軸はＳＡＤ値である。相関の高いシフト量ほど小さい値をとる。信号４０１では、極または極小４０２は１つしか存在しないため、従来の方法では、精度よく近距離被写体に焦点調節できない。

次に、Ｓ５０２において、演算制御部１１３は、Ａ像とＢ像が最も相関の高いシフト量（第１の位相差、図４（ａ）では、−３）と、該シフト量の近傍（通常は±１）のシフト量であって２番目に相関の高いシフト量（第２の位相差）を選択する。後者について、ここでは、演算制御部１１３は、Ａ像とＢ像が最も相関の高いシフト量に±１の２つのシフト量のうち、ＳＡＤ値が２番目に低いシフト量（図４（ａ）では、−４）を選択する。

次に、Ｓ５０３において、演算制御部１１３は、像生成部１０９を２度起動し、Ａ像とＢ像が最も相関の高いシフト量を有する場合と、該シフト量の近傍のシフト量であって２番目に相関の高いシフト量を有する場合の夫々について、差の絶対値の像信号を生成する。また、結果を記憶部１０７に記憶する。なお、Ｓ５０３を省略することも可能である。

図２（ｂ）は、像生成部１０９によって生成された差の絶対値像である。横軸は水平位置、縦軸は差の絶対値を示している。２０４は、Ａ像とＢ像が最も相関の高いシフト量を有する場合のＡ像とＢ像の差の絶対値の像信号である。２０３は、２番目に相関の強いシフト量におけるＡ像とＢ像の差の絶対値の像信号である。向かって左側と向かって右側では像信号２０３と２０４の大きさ順に差があることが分かる。

次に、Ｓ５０４（比較ステップ）において、演算制御部１１３は、像信号２０３、２０４を比較するために、像比較部１１０を起動し、２つの像信号２０３、２０４の差像信号を生成する。図２（ｃ）は、像信号２０３の信号値から像信号２０４の信号値を減算した値を算出する像比較部１１０から出力される信号２０５を示している。横軸は水平位置、縦軸は、バンドパスフィルタをかけた後の信号出力値である。このように、正負の符号が逆転する理由は、図３（ｃ）において中間位置３０３から近距離被写体に移動すると近距離被写体では合焦状態が改善し、遠距離被写体では合焦状態が低下するためである。

次に、Ｓ５０５において、演算制御部１１３は、像比較部１１０による比較手段である信号２０５を分析することによって遠近競合が発生しているかどうかを判断する（遠近競合状態を検出する）。信号２０５は、ゼロを中心に正と負に振幅している。実施例１では、信号２０５に対して所定の閾値２０６を超えて正または負に振幅した副画素を数え、その正負の比率により遠近競合の有無を検出する。所定の閾値２０６を設ける理由は、ゼロ付近ではノイズが多いため、この範囲を使用することを避けるためである。なお、演算制御部１１３は、遠近競合が発生しているかどうかを、像生成部１０９の出力に基づいて判断したり、像取込部１０６が記憶部１０７に記憶したＡ像とＢ像の情報に基づいて判断したりしてもよい。

以下、演算の意味について説明する。ＳＡＤの極小値のシフト位置とは、仮想焦点面における合焦位置までのデフォーカス量であり、２番目のシフト位置はその近傍である。仮想焦点面においてわずかに焦点位置をずらした結果、合焦状態に近づいた信号と遠ざかった信号を分類することが、本発明の本質である。もしも、遠近競合が発生していないのであれば合焦位置からわずかに焦点位置をずらすと、全ての信号が焦点面から遠ざかるが、遠距離被写体と近距離被写体が半分の比率で存在していれば、差の絶対値像の減算結果も半分の比率で正と負に分かれることになる。

なお、図５のＳ５０１の後で、演算制御部１１３は、図３（ｂ）に示す遠近競合が存在するかどうかを、例えば、極小値の数によって判断し、図３（ｂ）の場合には本発明を使用せずに特許文献１の方法を使用して遠近被写体の分離を行ってもよい。

次に、Ｓ５０５において、演算制御部１１３は、差の絶対値像の減算結果の正負の割合が所定の比率をこえるかどうかで遠近競合を判別する。例えば、画面に対して２割の近距離被写体であっても近距離側にピントを合わせることを期待する設計であれば正と負の割合が８対２を超えたらＳ５０６へ、超えなかったらＳ５０８へ分岐する。

Ｓ５０６（分離ステップ）では、演算制御部１１３は、遠近分離像を生成する。演算制御部１１３は、信号分離部１１１を起動し、データ列の構成要素ごとに遠距離被写体側と近距離被写体側に属するかどうかの属性が記憶部１０７に記憶される。遠距離被写体と近距離被写体のどちらにも属する画素はありえないが、どちらにも属さない画素もありうる。閾値２０６には所定の幅が存在するからである。

図２（ｄ）は、近距離被写体側に分類された、図２（ａ）の信号波形の一部を示しており、縦軸と横軸は図２（ａ）と同様である。２０８はＡ像信号２０１の近距離被写体部分、２０７はＢ像信号２０２の近距離被写体部分を示している。波形は近距離被写体に分類されたものだけを表示しているが、記憶部１０７にはＡ像信号２０１、Ｂ像信号２０２と属性信号は別々に記憶されている。

次に、Ｓ５０７において、演算制御部１１３は、信号２０７、２０８に対して第２の相関演算を行う。実施例１では、近距離優先の焦点検出を行う。演算制御部１１３により第２の相関演算部１１２が起動され、第２の相関演算が行われる。

図６は、第２の相関演算部１１２の内部回路を示す回路図である。なお、演算内容が分かり易いように、記憶部１０７とのインターフェース部や各種制御用の信号は省略されている。端子６０１からはＡ像信号、端子６０２からはＢ像信号、端子６０３からはＡ像の近側フラグ、端子６０４からはＢ像の近側フラグが入力される。Ａ像の近側フラグ、Ｂ像の近側フラグは、Ａ像とＢ像が、図２（ｃ）に示す信号２０５が閾値２０６よりも大きくなる場合に立つ（オンになる）。

保持部６１０と６１２にリセットがかけられるとサイクルごとに端子６０１〜６０４までの入力に信号が用意される。全画素からの信号入力が終わった段階で出力端子６１５の演算結果が記憶部１０７に格納される。位相差を１ずつずらして上記の演算を繰り返すことによってすべての位相に対応した相関量が計算され、相関像となる。加算器６０６によってＡ像とＢ像が減算され、絶対値回路６０７により絶対値に変換される。Ａ近側フラグとＢ近側フラグは、その位相において対面する画素の両方が近距離被写体だった場合だけスイッチ６０８を閉じる信号を出力する論理積回路６０５が設けられる。スイッチ６０８は、信号分離部による分離結果に基づいて、一対の像信号を、それらの差の絶対値の総和に加算するかどうかを切り替える手段として機能する。その結果、絶対値回路６０７の出力は、Ａ像Ｂ像ともに近距離被写体と判断された場合にのみ後段の積分器に送られる。積分器は加算器６０９と保持部６１０から構成されている。加算器６０９では、前回の値を保持している保持部６１０と加算され、保持部６１０では近距離被写体画素同士の差の絶対値が積分される。

また、スイッチ６０８が絶対値回路６０７の値を通過させたサイクルを加算器６１１と保持部６１２によりカウントしている。加算器６１１と保持部は画素カウンタを構成している。保持部６１０で保持された積分値は、乗算器６１３で固定値を掛けた後で、除算器６１４により保持部６１２の値で割られる。この除算により、位相ごとに変化する画素数の影響を正規化している。なお、除算器６１４は０で割った場合はとりうる最大値を出力するように設計されている。除算器６１４は、差の絶対値を加算した数を用いて差の絶対値の総和を正規化する手段として機能する。

図４（ｂ）は、出力端子６１５から得られる近距離被写体の信号４０３を示している。信号４０４は、同様に、遠距離被写体の信号である。元の信号４０１では検出不能だった近距離被写体の極小値を検出できていることが確認できる。

Ｓ５０７で得られた近距離被写体の相関演算結果、もしくはＳ５０５から分岐してきた場合も、Ｓ５０８では、サブピクセルマッチングを行う。ＳＡＤの演算では、位相を１ステップずつしか変化させられないが、相関量の変化から１ステップ以下の中間位相を正確に計算することができる。パラボラフィッティングと呼ばれる処理を行うが、本発明の本質ではないため説明を省略する。

次に、Ｓ５０９において、演算制御部１１３は、得られた位相差に対して、瞳分離の基線長によりきまる係数を用いてデフォーカス量に変換する。その後、処理を終了し、カメラ制御部１１４に制御を戻す。

実施例１では、撮像素子１０２で瞳分離を行ったが、ＡＦ専用のセンサやステレオ画像を用いてもよい。また、実施例１では、複数のモジュールにより順次処理を行ったが、ハードウェアを用いる代わりにソフトウェアを用いてもよい。実施例１は、近距離被写体に焦点を合わせているが、遠距離被写体に焦点を合わせたり、遠距離被写体と近距離被写体を選択したりしてもよい。実施例１は、デフォーカス量を検出して焦点検出を行ったが、距離マップ（デフォーカスマップ）の生成やリフォーカス位置の決定に用いてもよい。

図８は、実施例２の撮像装置１００Ａのブロック図である。実施例２は、像生成部１０９の代わりに差像生成部８０１を用い、像比較部１１０の代わりに差像比較部８０２を用いる点で実施例１と相違している。また、これらの部材を含む画像処理部に対して１２０Ａを付している。実施例２で差の絶対値像の代わりに差像を用いる。

図７（ａ）は、２つの位相差において得られるデータ列の要素ごとの一致度を示す２つの像を差像とした場合の差像生成部８０１の出力波形である。実施例１と異なるのは、信号が正負に振幅している点である。７０１はＡ像に対応する信号、７０２はＢ像に対応する信号である。差像比較部８０２では、この２つの信号を比較するために、図７（ｂ）に示すように、信号７０１、７０２の差の符号を表す信号７０３を作成する。そのようにして得られた信号は、図２（ｃ）に示す信号２０５と同じ信号となる。以後の処理は実施例１と同様であるため、説明を省略する。

以上、本発明の実施例について説明したが、本発明はその要旨の範囲内で種々の変形及び変更が可能である。本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本発明は、デフォーカス量の検出、距離マップ（デフォーカスマップ）の作製、焦点調節や撮像を行う分野に適用することができる。

１００、１００Ａ…撮像装置、１０８…第１の相関演算部（第１の位相差検出手段）、１１０…像比較部（比較手段）、１１１…信号分離部（信号分離手段）、１１２…第２の相関演算部（第２の位相差検出手段）、１２０、１２０Ａ…画像処理部

Claims

光学系の異なる射出瞳領域を通過した光束から得られる一対の像信号の相関が最も高い位相差である第１の位相差と、前記第１の位相差の所定範囲内にある第２の位相差を検出する第１の位相差検出手段と、
前記一対の像信号が前記第１の位相差を有する場合の一致度を示す信号と、前記一対の像信号が前記第２の位相差を有する場合の一致度を示す信号を比較する比較手段と、
該比較手段による比較結果に基づいて、前記一対の像信号に含まれる特定の被写体に関する一対の信号成分を分離する信号分離手段と、
該信号分離手段によって分離された前記一対の信号成分に対して相関が最も高い位相差を検出する第２の位相差検出手段と、
を有することを特徴とする画像処理装置。
前記一致度を示す信号は、前記一対の像信号の差の絶対値の像信号であることを特徴とする請求項１に記載の画像処理装置。
前記差の絶対値の像信号は、画素位置ごとに求められることを特徴とする請求項２に記載の画像処理装置。
前記第１の位相差検出手段、前記信号分離手段および前記第２の位相差検出手段は、処理可能な最小の信号量を単位として処理を行うことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
前記一対の像信号が前記第１の位相差を有する場合の一致度を示す信号と、前記一対の像信号が前記第２の位相差を有する場合の一致度を示す信号を生成する生成手段を有することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
前記比較手段による比較結果に基づいて遠近競合が発生しているかどうかを判断する制御手段を有することを特徴とする請求項１乃至５のうちいずれか１項に記載の画像処理装置。
前記比較手段は、前記一対の像信号が前記第１の位相差を有する場合の一致度を示す信号と、前記一対の像信号が前記第２の位相差を有する場合の一致度を示す信号との差の信号を用いることを特徴とする請求項１乃至６のうちいずれか１項の画像処理装置。
前記比較手段は、前記一対の像信号が前記第１の位相差を有する場合の一致度を示す信号と、前記一対の像信号が前記第２の位相差を有する場合の一致度を示す信号との差の絶対値の信号を用いることを特徴とする請求項１乃至６のうちいずれか１項の画像処理装置。
前記比較手段は、前記一対の像信号が前記第１の位相差を有する場合の一致度を示す信号と、前記一対の像信号が前記第２の位相差を有する場合の一致度を示す信号との差の二乗の信号を用いることを特徴とする請求項１乃至６のうちいずれか１項の画像処理装置。
前記比較手段は、前記一対の像信号が前記第１の位相差を有する場合の前記一対の像信号の差の信号と、前記一対の像信号が前記第２の位相差を有する場合の前記一対の像信号の差の信号を用いることを特徴とする請求項１乃至６のうちいずれか１項の画像処理装置。
前記第２の位相差検出手段は、
前記信号分離手段による分離結果に基づいて、前記一対の像信号を、それらの差の絶対値の総和に加算するかどうかを切り替える手段と、
前記差の絶対値を加算した数を用いて前記差の絶対値の総和を正規化する手段と、
を有することを特徴とする請求項１乃至１０のうちいずれか１項に記載の画像処理装置。
請求項１乃至１１のうちいずれか１項に記載の画像処理装置の出力に基づいて前記光学系の焦点調節を行う制御手段を有することを特徴とする焦点調節装置。
請求項１乃至１１のうちいずれか１項に記載の画像処理装置を有することを特徴とする撮像装置。
請求項１乃至１１のうちいずれか１項に記載の画像処理装置を有することを特徴とする距離検出装置。
光学系の異なる射出瞳領域を通過した光束から得られる、一対の像信号の相関が最も高い位相差である第１の位相差と、前記第１の位相差の所定範囲内にある第２の位相差を検出するステップと、
前記一対の像信号が前記第１の位相差を有する場合の一致度を示す信号と、前記一対の像信号が前記第２の位相差を有する場合の一致度を示す信号を比較する比較ステップと、
該比較ステップによる比較結果に基づいて、前記一対の像信号に含まれる特定の被写体に関する一対の信号成分を分離する分離ステップと、
該分離ステップにより分離された前記一対の信号成分に対して相関が最も高い位相差を検出するステップと、
を有することを特徴とする画像処理方法。
コンピュータに、請求項１５に記載の画像処理方法を実行させるためのプログラム。