JP5882785B2 - 撮像装置 - Google Patents

Description

本発明は、デジタルビデオカメラやデジタルビデオカメラ等の撮像装置に係り、特に顔等の被写体の検出機能を有する撮像装置に関する。

近年、画像の中から顔を画像認識技術により検出し、ユーザーに通知する撮像装置がある。顔検出を行うには顔がある程度鮮明に取得されていることが必要であり、デフォーカス量が大きい画像では顔検出を行うことが困難である。

特許文献１には、デフォーカス量が大きい場合でも、一部の被写界深度の深い画素から得られる被写界深度の深い画像を用いて顔の検出が可能な撮像装置が開示されている。一部の被写界深度の深い画素とは焦点検出画素（機能画素）であり、相関演算によるデフォーカス量の算出のために左目画像と右目画像を取得する画素である。焦点検出画素は、左目画像と右目画像を取得するために、光学系からの入射光の光軸中心に対して互いに反対側に偏心した開口部を有する。また、焦点検出画素として一つマイクロレンズに複数の画素を分離配置する、いわゆる複合画素構造を有する撮像装置が開示されている。

特許文献２には、撮像素子全体の一部を複合画素構造とし、これを焦点検出画素として用いる撮像装置が開示されている。この撮像装置は、右側に配置された画素のみを使用した右目画像と、左側に配置された画素のみを使用した左目画像を生成し、左目画像と右目画像の相関から被写体に対するデフォーカス量を算出することができる。また、左目画像と右目画像を加算して出力することで、撮影画像が生成される。

特開２０１０−６８４３９号公報 特許第４０２７１１３号

しかしながら、特許文献２に開示されているように左目画像または右目画像の一方を検出用画像として用いる場合、検出用画像は被写界深度が深いため、デフォーカス量の大きい領域ほど撮影画像に対して位相がずれる。このため、撮影画像における被写体位置の検出精度が劣化する。

そこで本発明は、光軸中心からずれて配置された開口部を有する画素により検出された被写体であっても、撮影画像における被写体位置を高精度に推定可能な撮像装置を提供する。

本発明の一側面としての撮像装置は、第１の開口部を備えて第１の画像を構成する第１の画素、および、光軸中心に対して該第１の開口部と異なる位置に第２の開口部を備えて第２の画像を構成する第２の画素を有し、該第１の画像および該第２の画像を加算して撮影画像を生成する撮像素子と、前記第１の画像から被写体位置を検出する被写体検出手段と、前記第１の画像と前記第２の画像の像ずれ量を算出する像ずれ量算出手段と、前記像ずれ量に基づいて、前記第１の画像から検出された被写体位置を補正し、前記撮影画像における被写体位置を推定する被写体位置推定手段とを有し、前記被写体位置推定手段は、前記第１の開口部および前記第２の開口部の位置に応じた補正量を用いて前記被写体位置を補正する。

本発明の他の側面としての撮像装置は、第１の開口部を備えて第１の画像を構成する第１の画素、光軸中心に対して該第１の開口部と異なる位置に第２の開口部を備えて第２の画像を構成する第２の画素、該第１の開口部および該第２の開口部よりも小さい第３の開口部を備えて第３の画像を構成する第３の画素、および、撮影画像を構成する第４の画素を有する撮像素子と、前記第３の画像から被写体位置を検出する被写体検出手段と、前記第１の画像と前記第２の画像の像ずれ量を算出する像ずれ量算出手段と、前記像ずれ量に基づいて、前記第３の画像から検出された前記被写体位置を補正し、前記撮影画像における被写体位置を推定する被写体位置推定手段とを有し、前記被写体位置推定手段は、前記第１の開口部、前記第２の開口部、および、前記第３の開口部の位置に応じた補正量を用いて前記被写体位置を補正する。

本発明の他の側面としての撮像装置は、第１の開口部を備えて第１の画像を構成する第１の画素、および、光軸中心に対して該第１の開口部と異なる位置に第２の開口部を備えて第２の画像を構成する第２の画素を有し、該第１の画像および該第２の画像を加算して撮影画像を生成する撮像素子と、前記第１の画像から第１の被写体位置を検出し、かつ、前記第２の画像から第２の被写体位置を検出する被写体検出手段と、前記第１の被写体位置および前記第２の被写体位置に基づいて前記撮影画像における被写体位置を推定する被写体位置推定手段とを有し、前記被写体位置推定手段は、前記第１の開口部および前記第２の開口部の位置を利用して前記被写体位置を推定する。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、光軸中心からずれて配置された開口部を有する画素により検出された被写体であっても、撮影画像における被写体位置を高精度に推定可能な撮像装置を提供することができる。

実施例１における撮像装置のブロック図である。 実施例１における撮像素子の画素の構成図である。 実施例１における撮像装置の撮影動作を示すフローチャートである。 実施例１における撮像装置の顔検出処理を示すフローチャートである。 実施例１におけるデジタル信号処理部のブロック図である。 実施例１における像ずれ量の説明図である。 実施例２におけるデジタル信号処理部のブロック図である。 実施例２における各画素の開口位置を示す図である。 実施例３における顔の位置（座標）を示す図である。 実施例２における撮像素子の画素配列図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

まず、図１を参照して、本発明の実施例１における撮像装置の全体構成について説明する。図１は、本実施例における撮像装置１００のブロック図である。レンズ１０１は、撮像素子１０４上に光学像を結像させる撮影レンズ（撮影光学系）である。レンズ１０１は、フォーカシングレンズを含んで構成される。レンズ制御部１０２は、レンズ１０１に対してフォーカス制御等の各種制御を行う。レンズ制御部１０２は、後述のシステム制御部１０９からの出力に基づいて制御される。

撮像素子１０４は、ＣＭＯＳセンサやＣＣＤセンサ等であり、ＳＨ１０３（シャッター）により露光量が制御される。本実施例の撮像素子１０４において、１つのマイクロレンズにより単位画素セルが構成され、単位画素セルには複数の画素が分離配置されている。

次に、図２を参照して、撮像素子１０４の単位画素セルについて詳述する。図２は、撮像素子１０４の画素の構成図である。１は、撮像素子１０４の単位画素セルである。１ａ、１ｂは、光電変換素子を含んで構成された画素である。画素１ａ、１ｂの各々は、個別に光電変換した信号を出力することができる。画素１ａ、１ｂの上部には、同色のカラーフィルタを備えたマイクロレンズ２が配置されている。

画素１ａ、１ｂは、同一のマイクロレンズ２を介して入射光を取り込む単位画素セルとして扱うことができる。画素１ａは、光軸中心に対して左側に開口部（第１の開口部）が設けられている。画素１ｂは、光軸中心に対して右側に開口部（第２の開口部）が設けられている。画素１ａ、１ｂは、その配置に応じて、それぞれ瞳分割された画像を構成する左目画素および右目画素（焦点検出画素）である。画素１ａ、１ｂは、これらの画素出力を撮像素子１０４の内部で加算して非破壊読み出しを行って出力する撮影画素でもある。また画素１ａ（左目画素）は、被写体を検出する検出用画素として扱われる。これらは、後述のデジタル信号処理部１０７に出力される。なお本実施例では、左目画素を検出用画素として用いるが、これに限定されるものではない。後述の外部記憶装置１１４や画像表示部１１３から出力される撮影画像よりも被写界深度の深い画像を形成する画素であれば、他の画素を検出用画素として用いてもよい。この画像は、例えば、撮影画像の形成に用いられる複合画素の複数画素よりも少ない画素を用いて作成される。

このように、撮像素子１０４は、第１の開口部を備えて第１の画像を構成する第１の画素（画素１ａ）、および、光軸中心に対して第１の開口部と異なる位置に第２の開口部を備えて第２の画像を構成する第２の画素（画素１ｂ）を有する。本実施例において、第１の画素は検出用画像を構成する。撮像素子１０４は、第１の画像および第２の画像を加算して撮影画像を生成する。また本実施例において、第１の開口部と第２の開口部は、光軸中心に対して互いに対称に配置されている。

アナログ信号処理部１０５は、撮像素子１０４に含まれる伝送路上のノイズを除去するＣＤＳ回路や非線形増幅回路等を備えている。アナログ信号処理部１０５は、入力されたアナログ信号に対してＣＤＳ回路や非線形増幅回路等による各種処理を行って得られた結果をＡ／Ｄ変換器１０６に出力する。Ａ／Ｄ変換器１０６は、撮像素子１０４から出力されてアナログ信号処理部１０５で処理されたアナログ信号をデジタル信号（画素信号）に変換し、このデジタル信号をデジタル信号処理部１０７に出力する。

デジタル信号処理部１０７は、撮影画像に対して、欠陥画素補正、自動露出（ＡＥ）、ホワイトバランス（ＷＢ）調整、ガンマ調整等の信号補正処理を行う。またデジタル信号処理部１０７は、センサ（撮像素子１０４）から出力される二次元画像データ（撮影画像）に存在するノイズを低減させるノイズ低減処理等を行う。更に、デジタル信号処理部１０７は、前述の左目画素（検出用画素）が入力された場合、撮影用画像の同一座標画素との差分を右目画像として分離し、左目画像（第１の画像）および右目画像（第２の画像）を作成してメモリ１１２に出力する。すなわち、第１の画像または第２の画像の一方は、撮影画像から第１の画像または第２の画像の他方を減算することにより得られる。

続いて、図５を参照して、デジタル信号処理部１０７の具体的な構成について説明する。図５は、デジタル信号処理部１０７のブロック図である。Ａ／Ｄ変換器１０６で処理された撮影画像は、欠陥画素補正部６００に入力されて撮像素子１０４上の欠陥画素が補正されるとともに、後述の右目画像分離処理部６０３に入力される。信号補正処理部６０１は、欠陥画素補正部６００の出力に対して、ＡＥ、ホワイトバランス調整、ガンマ調整などの信号処理を行う。

ノイズリダクション処理部６０２は、信号補正処理部６０１の出力に対して、センサ（撮像素子１０４）から出力される二次元データ（撮影画像）に存在するノイズを低減して画像データを生成し、この画像データをメモリ１１２に出力する。なお、ノイズリダクション処理部６０２の出力を右目画像分離処理部６０３に入力してもよい。右目画像分離処理部６０３は、Ａ／Ｄ変換器１０６から出力される撮影画像と左目画像の同一座標における差分から右目画像を生成し、この右目画像をメモリ１１２に出力する。左目画像は、右目画像分離処理部６０３およびメモリ１１２に入力される。像ずれ量算出部１０８（像ずれ量算出手段）は、メモリ１１２に格納された左目画像（第１の画像）と右目画像（第２の画像）を読み出してシステム制御部１０９から指定された座標範囲内の相関演算を行い、像ずれ量を算出する。

次に、図６を参照して、像ずれ量算出部１０８で算出される像ずれ量について説明する。図６は、像ずれ量の説明図である。図６において、左目画像は実線、右目画像は点線でそれぞれ表されている。また横軸はシステム制御部１０９から指定された範囲の水平方向の画素位置、縦軸は各画素の信号レベルをそれぞれ示している。

像ずれ量ｄは、左目画像と右目画像が一致する水平方向の画素ずれ量を表しており、公知の相関演算を用いて算出される。例えば、相関演算としてＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を用いる場合、相関演算評価値Ｓは、各画素の座標をｉ、左目画像のレベルをｌ、右目画像の各画素の値をｒとすると、以下の式（１）のように表される。

相関演算評価値Ｓが０に近いほど左目画像と右目画像の一致度が高いことを意味する。式（１）において、ｒ（ｉ）をｒ（ｉ−ｘ）と置き換え、ｘの値を増減させて相関演算評価値Ｓが０に最も近くなるｘの値を像ずれ量ｄとすることができる。本実施例では説明の簡便さから、水平方向のみの相関演算方法を説明したが、垂直方向に対しても同様に相関演算を行い像ずれ量ｄを算出することが好ましい。

顔データ検出部１１０は、メモリ１１２から出力される検出用画像（第１の画像）から顔を検出する被写体検出手段である。顔が検出された場合、顔の位置（被写体位置）をシステム制御部１０９に出力する。顔の検出処理は、パターン認識等の公知の画像認識技術を用いて行われる。表示画像作成部１１１は、メモリ１１２に格納される撮影画像に対してリサイズ処理を行うことで表示画像を生成し、この表示画像を後述の画像表示部１１３にライブビュー画像として出力する。顔データ検出部１１０が顔を検出した場合、表示画像作成部１１１は、システム制御部１０９で指定された座標に顔検出枠（被写体検出枠）を付加して表示画像を画像表示部１１３に出力する。画像表示部１１３は、表示画像作成部１１１で作成された表示画像を表示する装置である。

メモリ１１２は、デジタル信号処理部１０７、像ずれ量算出部１０８、システム制御部１０９、顔データ検出部１１０、および、表示画像作成部１１１との間で、不図示のメモリコントローラーを介してデータの読み書きを行う記憶装置である。メモリ１１２としては、例えばＤＲＡＭが用いられる。外部記憶装置１１４は、メモリ１１２に記録されたデジタル信号処理部１０７からの出力画像に対して不図示の符号化ブロックにより符号化したＪＰＥＧやマルチピクチャーフォーマット等の画像データを記録するメディアカードである。システム制御部１０９は、撮像装置１００の各ブロックに対して制御を行う制御部である。

次に、図３を参照して、撮像装置１００の撮影動作について説明する。図３は、撮像装置１００の撮影動作を示すフローチャートである。図３のフローで示される撮影動作は、不図示の電源スイッチをオンにすることで開始する。

まずステップＳ４００において、システム制御部１０９は、予備動作を行う。すなわちシステム制御部１０９は、ＷＢやＡＥなどのライブビューに関連する公知のパラメーター評価値を検出し、関連ブロックに対して各設定を行う。続いてステップＳ４０１において、システム制御部１０９は、ステップＳ４００で得られた評価値検出結果に基づいて、撮像素子１０４などのブロックに対してパラメーターを設定し、ライブビューを開始する。このとき、画像表示部１１３に、レンズ１０１を介して撮像素子１０４上に結像している像を表示する。

次にステップＳ４０２おいて、システム制御部１０９は顔検出を行い、顔の検出位置を表示画像作成部１１１に通知する。ステップＳ４０２の詳細については後述する。続いてステップＳ４１２において、システム制御部１０９は、不図示の本撮影動作開始スイッチ（スイッチＳＷ１）が押されか否かを判定する。スイッチＳＷ１が押されるまでステップＳ４０１に戻り、スイッチＳＷ１が押された場合にはステップＳ４０３に進む。

ステップＳ４０３において、システム制御部１０９は、顔の位置（顔検出位置）における像ずれ量を像ずれ量算出部１０８から読み取り、デフォーカス量を算出する。デフォーカス量ｄｅｆの算出方法は公知であり、例えば、像ずれ量ｄ、撮像素子１０４の各画素間の距離ｐ、および、レンズの絞り値に応じて一意に決定される値Ｋの関係から、以下の式（２）のように求められる。

ｄｅｆ＝ｄ×ｐ×Ｋ … （２）
ここでシステム制御部１０９は、式（２）を用いて算出したデフォーカス量に基づいてレンズ１０１（フォーカシングレンズ）を駆動するように、レンズ制御部１０２に対して制御信号を出力する。これにより、合焦位置を顔位置に移動させることができる。

次にステップＳ４０４において、システム制御部１０９は、撮像素子１０４から出力される信号に基づいて測光動作を行い、被写体の露出情報を取得する。続いてステップＳ４０５において、システム制御部１０９は、ステップＳ４０４で取得した被写体の露出情報に基づいて、撮影時のシャッター秒時やＩＳＯ感度などの撮影条件を設定する。

次にステップＳ４０６おいて、システム制御部１０９は、静止画記録スイッチ（スイッチＳＷ２）がオンしたか否かを判定する。スイッチＳＷ２がオフの場合には、ステップＳ４１０に進む。一方、スイッチＳＷ２がオンである場合には、ステップＳ４０７に進む。ステップＳ４０７において、システム制御部１０９は、不図示のタイミングジェネレーターに対してＨＤ、ＶＤなどの撮像素子１０４の駆動パルスが出力されるように制御する。撮像素子１０４は、この駆動パルスに基づいて露光（電荷の蓄積）を行う。同時に、ステップＳ４０５で設定した撮影条件に従い、周知のシャッター制御を行う。そしてシステム制御部１０９は、所定のシャッター時間が経過した場合には露光を終了し、電荷の読み出しを開始する。

次にステップＳ４０８おいて、撮像素子１０４から出力される撮影画像は、アナログ信号処理部１０５、Ａ／Ｄ変換器１０６、および、デジタル信号処理部１０７により前述の画像処理が行われ、撮影画像としてメモリ１１２に出力される。続いてステップＳ４０９において、ステップＳ４０８でメモリ１１２に記録された画像を外部記憶装置１１４に対して出力するとともに、画像表示部１１３に記憶された画像を表示する。

ステップＳ４１０において、システム制御部１０９は、スイッチＳＷ１がオフされたか否かを判定する。スイッチＳＷ１がオンの状態を維持する場合、撮影が継続されるとしてステップＳ４０６に戻る。一方、スイッチＳＷ１がオフになった場合には、撮影動作を終了してステップＳ４１１に進む。ステップＳ４１１において、システム制御部１０９は、電源スイッチ（電源ＳＷ）がオフであるか否かを判定する。電源ＳＷがオンの場合には、ステップＳ４０１に戻り、ライブビューで撮影準備状態を継続する。一方、電源ＳＷがオフになった場合には、撮像装置１００の電源をオフにする。

次に、図４を参照して、図３中のステップＳ４０２（顔検出処理）のサブルーチンについて説明する。図４は、顔検出処理を示すフローチャートである。まずステップＳ５００において、撮像素子１０４から出力される検出用画素は、アナログ信号処理部１０５、Ａ／Ｄ変換器１０６、および、デジタル信号処理部１０７により前述の信号処理が行われ、検出用画像としてメモリ１１２に出力される（検出用画像作成）。顔データ検出部１１０は、メモリ１１２から検出用画像を読み出し、顔が存在するか否かを公知のパターン認識技術にて検出する。顔が検出された場合、顔の存在する座標をシステム制御部１０９に通知する（顔の座標通知）。

次にステップＳ５０１において、システム制御部１０９は、顔が検出されたか否か、すなわち顔データ検出部１１０から顔の存在する座標が通知されたか否かを判定する。顔が検出されていない場合には、顔検出の動作（図４のフロー）を終了する。一方、顔が検出された場合には、ステップＳ５０２に進む。続いてステップＳ５０２において、システム制御部１０９は、顔検出された座標範囲を像ずれ量算出部１０８に通知する。像ずれ量算出部１０８は、システム制御部１０９から通知された座標範囲内の像ずれ量（顔の位置における像ずれ量）を算出し、その像ずれ量をシステム制御部１０９に通知する。

次にステップＳ５０３において、システム制御部１０９（被写体位置推定手段）は、像ずれ量算出部１０８により算出された像ずれ量に基づいて、左目画像（第１の画像）から検出された顔の位置（被写体位置）を補正し、撮影画像における被写体位置を推定する。このときシステム制御部１０９は、像ずれ量算出部１０８から通知された像ずれ量に対して予め定められた比率に応じて撮影画像内の顔位置を推定し、補正量として表示画像作成部１１１に通知する。予め定められた比率とは、像ずれ量を算出するために用いた右目画像と左目画像を構成する右目画素と左目画素の開口位置（第１の開口および第２の開口の位置）に起因する値である。この値に応じた補正量を用いて、顔の位置は補正される。各画素の開口（第１の開口および第２の開口）が光軸中心に対して互いに対称（左右対称）に配置されている場合、像ずれ量ｄに対して値ｄ／２が撮影画像内の顔位置の中心となる。このとき、補正量は像ずれ量ｄの半分である。

次にステップＳ５０４において、表示画像作成部１１１は、デジタル信号処理部１０７で処理された撮影画像をメモリ１１２から読み出す。そして表示画像作成部１１１は、システム制御部１０９により指定された顔の位置に基づいて、顔の位置をユーザーに通知するための枠（被写体検出枠）を描画し、この枠を画像表示部１１３に出力する。このように画像表示部１１３は、システム制御部１０９で推定された撮影画像における顔の位置を含む領域に被写体検出枠を表示する表示手段である。

また、撮影画像が顔位置に合焦していない場合、被写体はボケて広い範囲に広がる。このため、枠を広げる場合には、被写体検出された座標から像ずれ量方向に枠を拡大して表示してもよい。また、像ずれ量方向に拡大する際に、像ずれ量ｄだけ拡大することで、ボケて広がった分だけ囲むように処理を行ってもよい。このとき、画像表示部１１３は、システム制御部１０９で推定された撮影画像における顔の位置を含む領域を拡大して被写体検出枠を表示する。以上により、図４のフロー（顔検出処理）は終了する。

なお本実施例では、被写体を顔として被写体検出処理を行っているが、これに限定されるものではなく、登録された物体を検出する処理であれば顔以外の被写体であってもよい。また本実施例では、撮像素子から右目画素と左目画素を加算し非破壊読み出しを行って出力される画素から構成される画像を撮影画像としているが、右目画像と左目画像を個別に読み出し信号処理により後で加算処理を行ってもよい。なお本実施例では、一次元方向の像ずれ量に対する処理のみ説明しているが、水平垂直の二次元方向に対して像ずれ量を算出し、撮影画像に存在する顔の検出位置を推定して補正することが好ましい。

本実施例によれば、開口位置が光軸中心からずれている画素を用いて検出された被写体であっても、撮影画像に対して適正な位置を検出位置として通知することが可能である。

次に、本発明の実施例２における撮像装置について説明する。実施例１の撮像装置１００は、１つのマイクロレンズに対して複数の機能画素が存在し、複数の機能画素を加算した出力を撮影画像として用いている。一方、本実施例の撮像装置は、撮影画素と機能画素を個別に有する撮像素子を備え、認識した被写体の座標を補正する。

以下、図１０を参照して、撮影画素と機能画素を個別に有する撮像素子１０４ａについて説明する。図１０は、撮像素子１０４ａの画素配列図である。図１０において、撮影画素はＧ、Ｂ、Ｒで表され、デジタル信号処理部１０７により同時化処理が行われて外部記憶装置１１４や画像表示部１１３に出力される画像に用いられる画素（第４の画素）である。Ｓ１は、左側に開口部（第１の開口部）を有し、それ以外の部分は遮光されているため、光束が左側に制限される第画素（第１の画素：左目画素）である。Ｓ２は、右側に開口部（第２の開口部）を有し、それ以外の部分は遮光されているため、光束が右側に制限される画素（第２の画素：右目画素）である。Ｓ３は、画素Ｓ１、Ｓ２の開口部よりも小さい開口部（第３の開口部）が中央よりも左側に設けられ、それ以外の部分は遮光されているため、光束が画素Ｓ１、Ｓ２よりも制限されて入射される画素（第３の画素：検出用画素）である。したがって、画素Ｓ３は、画素Ｓ１、Ｓ２よりも被写界深度の深い画像を得ることができる。画素Ｓ１、Ｓ２、Ｓ３は、それぞれ左目画像、右目画像、検出用画像を構成する画素であるため、撮像素子１０４ａ上に一定のパターンで配列される。撮像素子１０４ａから出力される画像は、実施例１と同様に、アナログ信号処理部１０５およびＡ／Ｄ変換器１０６を介して、デジタル信号処理部１０７に入力される。

このように撮像素子１０４ａは、第１の開口部を備えて第１の画像（左目画像）を構成する第１の画素、および、光軸中心に対して第１の開口部と異なる位置に第２の開口部を備えて第２の画像（右目画像）を構成する第２の画素を有する。撮像素子１０４ａは、更に、第１の開口部および第２の開口部よりも小さい第３の開口部を備えて第３の画像（検出用画像）を構成する第３の画素、および、撮影画像を構成する第４の画素を有する。

次に、図７を参照して、本実施例におけるデジタル信号処理部１０７ａの構成について説明する。図７は、デジタル信号処理部１０７ａのブロック図である。入力画素判定部８００は、Ａ／Ｄ変換器１０６から出力された画素（入力画像）が撮影画像、右目画像、左目画像、および、検出用画像のいずれであるか判定する。この判定は、システム制御部１０９からの画素パターン設定に従って行われる。入力画素判定部８００は、入力画像が撮影画像である場合、入力画像を欠陥画素補正部６００に出力する。一方、入力画素判定部８００は、入力画像が右目画像、左目画像、または、検出用画像である場合、入力画像をメモリ１１２に出力する。画素パターン設定は撮像素子１０４ａの画素Ｓ１、Ｓ２、Ｓ３の配置パターンに基づいて設定され、入力画素判定部８００は入力画像の種別を判定する。

入力画素判定部８００から出力された撮影画像については、実施例１と同様に、欠陥画素補正部６００、信号補正処理部６０１、および、ノイズリダクション処理部６０２を介してメモリ１１２に出力される。また実施例１と同様に、像ずれ量算出部１０８は、右目画像と左目画像の相関から像ずれ量ｄを算出し、像ずれ量ｄをシステム制御部１０９に出力する。顔データ検出部１１０は、検出用画像（第３の画像）から顔（被写体）を検出し、検出された顔の位置（被写体位置）をシステム制御部１０９に出力する。

表示画像作成部１１１は、メモリ１１２に格納される撮影画像に対して表示画像としてリサイズ処理を行い、後述の画像表示部１１３にライブビュー画像として出力される。顔データ検出部１１０が顔を検出した場合、システム制御部１０９で算出された座標に顔検出枠を付けて画像表示部１１３に出力する。このとき、システム制御部１０９から出力される顔の位置の座標として、像ずれ量ｄに対して予め定められた比率を乗算して得られた座標が出力される。本実施例では、像ずれ量を求める際に用いる左目画素および右目画素と別に検出用画素が設けられている。このため、比率は、像ずれ量ｄを求める左目画素および右目画素と、検出用画素の開口位置との関係に応じて決定される。

次に、図８を参照して、像ずれ量ｄに対して乗算される比率について説明する。図８は、画素Ｓ１、Ｓ２、Ｓ３の開口位置を示す図であり、各画素の開口部を重ね合わせた状態を示している。像ずれ量ｄは、画素Ｓ１、Ｓ２の開口部から得られた画像の相関演算により求められる値である。ここで、画素Ｓ１、Ｓ２、Ｓ３の重心位置をそれぞれＳ１Ｃ、Ｓ２Ｃ、Ｓ３Ｃ、重心位置Ｓ１Ｃ、Ｓ２Ｃの間に存在する重心位置Ｓ３Ｃを示す比率（重心位置Ｓ１Ｃ、Ｓ２Ｃ間の距離に対する重心位置Ｓ１Ｃ、Ｓ３Ｃ間の距離の比率）をαとする。このとき、重心位置Ｓ１Ｃ、Ｓ２Ｃ、Ｓ３Ｃ、比率αの関係は、以下の式（３）のように表される。

Ｓ３Ｃ＝（Ｓ１Ｃ×α）＋（Ｓ２Ｃ×（１−α）） … （３）
このとき、重心位置Ｓ３Ｃにおける撮影画像に対する像ずれ量Ｄは、以下の式（４）のように表される。

Ｄ＝（１−２α）×ｄ／２ … （４）
このように、検出用画像の顔座標からＤ画素ずらした位置が撮影画像の顔位置の中心となる。以上のとおり、本実施例において、システム制御部１０９は、第１の開口部、第２の開口部、および、第３の開口部の位置に応じた補正量を用いて被写体位置を補正する。

また、撮影画像が顔位置に合焦していない場合、被写体はボケて広い範囲に広がることとなる。このため、枠を広げる場合には、被写体検出された座標から像ずれ量方向に枠を拡大して表示してもよい。また、像ずれ量方向に拡大する際に、像ずれ量Ｄだけ拡大することでボケて広がった分だけ囲むように処理を行ってもよい。

次に、本発明の実施例３における撮像装置について説明する。実施例１、２の撮像装置は、相関演算を行って像ずれ量を算出している。一方、本実施例の撮像装置は、左目画像と右目画像を用いた相関演算を行うことなく、演算により撮影画像に存在する被写体の位置を推定して補正する。

本実施例では、メモリ１１２に格納された左目画像（第１の画像）および右目画像（第２の画像）のそれぞれが顔データ検出部１１０に出力される。顔データ検出部１１０は、入力された左目画像および右目画像のそれぞれに対して顔検出を行い、それぞれの座標をシステム制御部１０９に出力する。すなわち顔データ検出部１１０は、左目画像（第１の画像）から第１の被写体位置を検出し、かつ、右目画像（第２の画像）から第２の被写体位置を検出する。

システム制御部１０９は、左目画像と右目画像に対して検出された座標の中間位置を顔の位置として、表示画像作成部１１１に出力する。すなわちシステム制御部１０９は、第１の被写体位置および第２の被写体位置に基づいて撮影画像における被写体位置を推定する。このときシステム制御部１０９は、第１の開口部および第２の開口部の位置を利用して被写体位置を推定する。本実施例において、第１の開口部と第２の開口部は、光軸中心に対して互いに対称に配置されている。このため、システム制御部１０９は、第１の被写体位置および第２の被写体位置の中間位置を被写体位置（顔の位置）と推定する。

図９を参照して、中間位置の算出方法について説明する。図９は、本実施例における顔の位置（座標）を示す図である。図９（ａ）は、左目画像である。検出された顔位置の矩形枠の座標は、左上部を（ｌｘ１，ｌｙ１）、右上部を（ｌｘ２，ｌｙ１）、左下部を（ｌｘ１，ｌｙ２）、右下部を（ｌｘ２，ｌｙ２）とすると、（ｌｘ１，ｌｘ２，ｌｙ１，ｌｙ２）と表される。図９（ｂ）は、右目画像である。同様に、検出された顔位置の矩形枠の座標は、左上部を（ｒｘ１，ｒｙ１）、右上部を（ｒｘ２，ｒｙ１）、左下部を（ｒｘ１，ｒｙ２）、右下部を（ｒｘ２，ｒｙ２）とすると、（ｒｘ１，ｒｘ２，ｒｙ１，ｒｙ２）と表される。

図９（ｃ）は、左目画像と右目画像を重ね合わせた状態を示す図である。実線は左目画像、点線は右目画像を示している。この場合、システム制御部１０９は、撮影画像の中に存在する顔の位置（座標）は、太線枠で示されるように、（（ｌｘ１＋ｒｘ１）／２，（ｌｘ２＋ｒｘ２）／２，（ｌｙ１＋ｒｙ１）／２，（ｌｙ２＋ｒｙ２）／２）と表されるものと推定する。そしてシステム制御部１０９は、この座標で示される枠を表示画像作成部１１１に通知する。

また、左目画像と右目画像のそれぞれに対して検出された座標のみ撮影画像の顔がボケて広がっていると考えられる。このため、（ｌｘ１，ｒｘ２，ｌｙ１，ｒｙ２）の矩形枠に拡大して、撮影画像に存在するボケた顔を囲むように表示画像作成部１１１に通知してもよい。さらに、撮影画像は左目画像と右目画像を加算した画像である。このため、左目画像または右目画像の光量がシェーディング等の影響で減衰した場合、撮影画像の重心位置は光量の大きい画像の影響を大きく受ける。そこで、顔データ検出部１１０は、実際の顔検出の位置を求める式を用いて、左目画像（第１の画像）と右目画像（第２の画像）の光量比に応じて撮影画像における顔の位置を補正してもよい。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００ 撮像装置
１０４ 撮像素子
１０８ 像ずれ量算出部
１０９ システム制御部
１１０ 顔データ検出部

Claims (10)

1. 第１の開口部を備えて第１の画像を構成する第１の画素、および、光軸中心に対して該第１の開口部と異なる位置に第２の開口部を備えて第２の画像を構成する第２の画素を有し、該第１の画像および該第２の画像を加算して撮影画像を生成する撮像素子と、
   前記第１の画像から被写体位置を検出する被写体検出手段と、
   前記第１の画像と前記第２の画像の像ずれ量を算出する像ずれ量算出手段と、
   前記像ずれ量に基づいて、前記第１の画像から検出された被写体位置を補正し、前記撮影画像における被写体位置を推定する被写体位置推定手段と、を有し、
   前記被写体位置推定手段は、前記第１の開口部および前記第２の開口部の位置に応じた補正量を用いて前記被写体位置を補正することを特徴とする撮像装置。
2. 前記第１の開口部と前記第２の開口部は、前記光軸中心に対して互いに対称に配置されており、
   前記補正量は、前記像ずれ量の半分であることを特徴とする請求項１に記載の撮像装置。
3. 第１の開口部を備えて第１の画像を構成する第１の画素、および、光軸中心に対して該第１の開口部と異なる位置に第２の開口部を備えて第２の画像を構成する第２の画素を有し、該第１の画像および該第２の画像を加算して撮影画像を生成する撮像素子と、
   前記第１の画像から第１の被写体位置を検出し、かつ、前記第２の画像から第２の被写体位置を検出する被写体検出手段と、
   前記第１の被写体位置および前記第２の被写体位置に基づいて前記撮影画像における被写体位置を推定する被写体位置推定手段と、を有し、
   前記被写体位置推定手段は、前記第１の開口部および前記第２の開口部の位置を利用して前記被写体位置を推定することを特徴とする撮像装置。
4. 前記第１の開口部と前記第２の開口部は、前記光軸中心に対して互いに対称に配置されており、
   前記被写体位置推定手段は、前記第１の被写体位置および前記第２の被写体位置の中間位置を前記被写体位置と推定することを特徴とする請求項３に記載の撮像装置。
5. 前記被写体位置推定手段は、前記第１の画像および前記第２の画像の光量比を用いて前記撮影画像における前記被写体位置を補正することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記第１の画像または前記第２の画像の一方は、前記撮影画像から該第１の画像または該第２の画像の他方を減算することにより得られることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 第１の開口部を備えて第１の画像を構成する第１の画素、光軸中心に対して該第１の開口部と異なる位置に第２の開口部を備えて第２の画像を構成する第２の画素、該第１の開口部および該第２の開口部よりも小さい第３の開口部を備えて第３の画像を構成する第３の画素、および、撮影画像を構成する第４の画素を有する撮像素子と、
   前記第３の画像から被写体位置を検出する被写体検出手段と、
   前記第１の画像と前記第２の画像の像ずれ量を算出する像ずれ量算出手段と、
   前記像ずれ量に基づいて、前記第３の画像から検出された前記被写体位置を補正し、前記撮影画像における被写体位置を推定する被写体位置推定手段と、を有し、
   前記被写体位置推定手段は、前記第１の開口部、前記第２の開口部、および、前記第３の開口部の位置に応じた補正量を用いて前記被写体位置を補正することを特徴とする撮像装置。
8. 前記被写体位置推定手段で推定された前記撮影画像における前記被写体位置を含む領域に被写体検出枠を表示する表示手段を更に有することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記被写体位置推定手段で推定された前記撮影画像における前記被写体位置を含む領域を拡大して被写体検出枠を表示する表示手段を更に有することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
10. 前記被写体検出手段は、前記被写体位置として顔の位置を検出するように構成されていることを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。