JP6379478B2 - 画像処理装置、電子カメラ及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、電子カメラ及び画像処理プログラムに関する。

従来、フォーカスレンズを光軸方向に移動させつつ各位置における画像の測距エリア内に位置する被写体のエッジのコントラスト値を求め、コントラスト値が最も高くなるレンズ位置をフォーカス位置（合焦位置）として検出するオートフォーカス装置が知られている（例えば、特許文献１参照）。

特開平４−２７４４０５号公報

しかしながら、従来のオートフォーカス装置では、測距エリア内に複数の被写体が含まれる場合、これらの被写体のうち近接側に位置する被写体が合焦の対象となる被写体として一律に設定されるのが一般的である。そのため、画像において合焦の対象となる被写体を多様に設定することができないという問題があった。

本発明は、このような事情に鑑みてなされたものであり、その目的は、画像において合焦の対象となる領域を多様に設定することができる画像処理装置、電子カメラ及び画像処理プログラムを提供することにある。

上記課題を解決する画像処理装置は、外部から取得した画像から複数の特定領域を抽出する領域抽出部と、前記領域抽出部が抽出した前記特定領域の距離の分布を取得する位置取得部と、前記位置取得部が取得した前記特定領域の距離の分布に基づく距離の差が所定の閾値以上の前記特定領域の中から合焦の対象となる合焦領域を設定する合焦領域設定部とを備えた。
上記課題を解決する画像処理装置は、外部から取得した画像から複数の特定領域を抽出する領域抽出部と、前記領域抽出部が抽出した前記特定領域の距離の分布を取得する位置取得部と、前記位置取得部によって取得された前記特定領域の距離の分布が、一部の特定領域が他の特定領域と比較して距離が大きく外れた分布である場合、該一部の特定領域の中から合焦の対象となる合焦領域を設定する合焦領域設定部とを備えた。

また、上記画像処理装置において、前記位置取得部は、前記特定領域の距離の分布を、該分布を構成する前記特定領域の前記画像内での配置と組み合わせて取得し、前記合焦領域設定部は、前記位置取得部が前記特定領域の前記画像内での配置と組み合わせて取得した前記特定領域の距離の分布に基づいて前記合焦領域を設定することが好ましい。

また、上記画像処理装置において、データベースには、前記位置取得部が取得した前記特定領域の距離の分布との比較対象となる比較要素の距離の分布と、前記合焦領域設定部が前記合焦領域を設定する際の基準として前記分布を構成する前記比較要素の中から設定される基準合焦要素とが関連付けられて記憶されており、前記合焦領域設定部は、前記位置取得部によって取得された前記特定領域の距離の分布を前記データベースに記憶された前記比較要素の距離の分布に対して照合することにより、前記データベースにおいて照合された分布に関連付けられた前記基準合焦要素に基づいて前記合焦領域を設定することが好ましい。

また、上記画像処理装置において、前記データベースには、前記比較要素の距離の分布に対して前記比較要素の配置が組み合わされて記憶されており、前記合焦領域設定部は、前記位置取得部によって取得された前記特定領域の距離の分布を前記特定領域の前記画像内での配置と組み合わせて前記データベースに記憶された前記比較要素の距離及び配置の組み合わせの分布に対して照合することにより、前記データベースにおいて照合された分布に関連付けられた前記基準合焦要素に基づいて前記合焦領域を設定することが好ましい。

また、上記画像処理装置において、前記特定領域の距離の分布には、前記特定領域ごとの距離が前記画像の奥行方向において分割された複数の距離範囲に分類された態様で含まれることが好ましい。

また、上記画像処理装置において、前記領域抽出部が抽出した前記特定領域のエッジの色成分量に基づいて前記特定領域の距離を前記特定領域ごとに検出することにより、前記特定領域の距離の分布を取得することが好ましい。

また、上記画像処理装置において、前記領域抽出部が抽出した前記特定領域の距離を位相差検出方式によって前記特定領域ごとに検出することにより、前記特定領域の距離の分布を取得することが好ましい。

また、上記画像処理装置において、前記位置取得部は、前記領域抽出部が抽出した前記特定領域の距離をコントラスト検出方式によって前記特定領域ごとに検出することにより、前記特定領域の距離の分布を取得することが好ましい。

また、上記画像処理装置において、前記位置取得部は、領域のボケ具合と距離とを対応付けて記憶したデフォーカスデータベースに対して前記領域抽出部が抽出した前記特定領域のボケ具合を照合することにより、前記領域抽出部が抽出した前記特定領域の距離を前記特定領域ごとに検出して前記特定領域の距離の分布を取得することが好ましい。

また、上記画像処理装置において、前記領域抽出部は、前記画像から抽出した前記特定領域のうち前記画像内での配置が互いに隣り合う前記特定領域同士の距離の差分が閾値未満である場合、該特定領域を統合することが好ましい。

また、上記画像処理装置において、前記画像はスルー画又は動画であって、前記領域抽出部は、前記画像から抽出した前記特定領域のうち前記画像内での動きベクトルの差分が閾値未満である前記特定領域同士の距離の差分が閾値未満である場合、該特定領域を統合することが好ましい。

また、上記画像処理装置において、前記領域抽出部は、前記画像から抽出した前記特定領域が互いに距離の異なる複数の小領域を含む場合、該特定領域を複数の小領域に分割することが好ましい。

また、上記画像処理装置は、 前記位置取得部が取得した前記特定領域の距離の分布に基づいて、前記画像の撮影モードを設定するモード設定部を更に備えたことが好ましい。

また、上記画像処理装置において、前記モード設定部は、前記位置取得部が取得した前記特定領域の距離の分布が前記画像の奥行方向における近接側に偏っている場合には、前記画像の撮影モードをマクロモードに設定することが好ましい。

また、上記画像処理装置において、前記モード設定部は、前記位置取得部が取得した前記特定領域の距離の分布が前記画像の奥行方向における無限遠側に偏っている場合には、前記画像の撮影モードを風景モードに設定することが好ましい。

また、上記課題を解決する電子カメラは、被写体を撮像する撮像素子と、前記撮像素子が撮像した被写体に応じた画像を取得する上記構成の画像処理装置とを備えたことを特徴とする。

また、上記課題を解決する画像処理プログラムは、コンピュータに、外部から取得した画像から複数の特定領域を抽出する領域抽出ステップと、前記領域抽出ステップにおいて抽出した前記特定領域の距離の分布を取得する位置取得ステップと、前記位置取得ステップにおいて取得した前記特定領域の距離の分布に基づく距離の差が所定の閾値以上の前記特定領域の中から合焦の対象となる合焦領域を設定する合焦領域設定ステップとを実行させる。
また、上記課題を解決する画像処理プログラムは、コンピュータに、外部から取得した画像から複数の特定領域を抽出する領域抽出ステップと、前記領域抽出ステップにおいて抽出した前記特定領域の距離の分布を取得する位置取得ステップと、前記位置取得ステップにおいて取得した前記特定領域の距離の分布が、一部の特定領域が他の特定領域と比較して距離が大きく外れた分布である場合、該一部の特定領域の中から合焦の対象となる合焦領域を設定する合焦領域設定ステップとを実行させる。

本発明によれば、画像において合焦の対象となる領域を多様に設定することができる。

第１の実施形態のデジタルカメラのブロック図。 同実施形態の画像処理エンジンが実行する合焦制御処理ルーチンのフローチャート。 同実施形態の画像処理エンジンが実行するマスクの分離・統合処理ルーチンのフローチャート。 同実施形態の画像処理エンジンが実行する分布照合処理ルーチンのフローチャート。 スルー画の画像内容の一例を示す模式図。 フォーカスマップの一例を示す模式図。 スルー画の画像内容の一例を示す模式図。 （ａ）、（ｂ）は、マスクに設定された評価値の一例を示す模式図。 比較要素の距離の分布、及び、フォーカスマップの一例を示す模式図。 第２の実施形態の画像処理エンジンが実行する合焦制御処理ルーチンのフローチャート。 スルー画の画像内容の一例を示す模式図。 フォーカスマップの一例を示すグラフ。 第３の実施形態の画像処理エンジンが実行する合焦制御処理ルーチンのフローチャート。 （ａ）、（ｂ）は、スルー画の画像内容の一例を示す模式図。 第４の実施形態の画像処理エンジンが実行する合焦制御処理ルーチンのフローチャート。 スルー画の画像内容の一例を示す模式図。 フォーカスマップの一例を示す模式図。

（第１の実施形態）
以下、本発明を具体化した第１の実施形態を図面に従って説明する。
図１に示すように、デジタルカメラ（以下、「カメラ１０」という）は、焦点調節を行うためのフォーカスレンズ１１などの複数のレンズからなるレンズ部１２（図１ではフォーカスレンズ１１のみ図示）と、レンズ部１２を通過した光をレンズ部１２の像空間側において結像させて撮像する撮像素子１３とを備えている。なお、撮像素子１３は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型、又は、ＣＣＤ（Charge Coupled Device）型のイメージセンサからなる。

撮像素子１３の出力側には、画像処理エンジン１４がＡ／Ｄ変換回路１５を介して接続されている。そして、撮像素子１３からアナログ信号として出力される画素信号は、Ａ／Ｄ変換回路１５においてデジタル信号に変換された後に画像処理エンジン１４に入力される。

画像処理エンジン１４は、カメラ１０の各種の動作を統括的に制御するＭＰＵ１６（Micro Processing Unit）を備えている。そして、ＭＰＵ１６は、撮像素子１３から入力された画素信号に対し、色補間処理、階調補正、ホワイトバランス処理及び輪郭補償等の画像処理を施すことにより所定の画像を生成する。

画像処理エンジン１４には、データバス１７を介して不揮発性メモリ１８、バッファメモリ１９、インターフェース部（以下、「Ｉ／Ｆ部２０」という）及びモニタ２１が接続されている。

不揮発性メモリ１８は、画像処理エンジン１４を動作させるためにＭＰＵ１６が実行するプログラムを格納している。なお、本実施形態では、不揮発性メモリ１８は、図２にフローチャートで示す合焦制御用の画像処理プログラムなどを格納している。そして、ＭＰＵ１６は、不揮発性メモリ１８に格納された合焦制御用の画像処理プログラムを実行することにより、領域抽出部２４、位置取得部２５、合焦領域設定部２６及びモード設定部２７として機能する。また、不揮発性メモリ１８は、ＭＰＵ１６が合焦制御用の画像処理プログラムを実行する際に使用するデータベース３０を格納している。

バッファメモリ１９は、例えば、撮影画像、画像処理過程の画像、画像処理後の画像及び画像圧縮後の画像などを一時的に格納している。
Ｉ／Ｆ部２０は、メモリカード３１が着脱自在に装着されるカードスロット（図示略）を有している。そして、Ｉ／Ｆ部２０は、画像処理エンジン１４によって生成された画像をＩ／Ｆ部２０に装着されたメモリカード３１に出力したり、メモリカード３１に記憶されている画像を画像処理エンジン１４に出力したりする機能を有している。

モニタ２１には、バッファメモリ１９に一時的に格納されている画像や、Ｉ／Ｆ部２０に装着されたメモリカード３１に格納されている画像が画像処理エンジン１４によって出力されて表示される。

また、画像処理エンジン１４には、レリーズボタン３２及び操作部３３が接続されている。レリーズボタン３２は、半押し操作又は全押し操作がなされた際に操作信号を画像処理エンジン１４に入力する。操作部３３は、メニューボタン、セレクトボタン、決定ボタン及び電源ボタン等により構成されており、押圧操作がなされた際に操作信号を画像処理エンジン１４に入力する。

次に、本実施形態の画像処理エンジン１４のＭＰＵ１６が実行する合焦制御処理ルーチンの概要を図２のフローチャートを参照しながら説明する。
さて、ＭＰＵ１６は、カメラ１０が電源ＯＮ状態となると、図２に示す合焦制御処理ルーチンを開始する。そして、ステップＳ１０において、ＭＰＵ１６は、撮像素子１３から出力された画素信号を取り込んでスルー画を生成し、生成したスルー画をモニタ２１に表示させる。

続いて、ステップＳ１１において、ＭＰＵ１６の領域抽出部２４は、領域抽出ステップとして、先のステップＳ１０において生成したスルー画のうち、人が注目されることが想定される領域となる特定領域の一例としてマスクを抽出する。この場合、スルー画に対してラベリング処理を行うことにより、スルー画からマスクが抽出される。ここで、ラベリング技術とは、スルー画から特徴量ごとに画素データを検出し、検出された画素データが互いに近接した画素領域のうちスルー画内での位置が隣接する画素領域を順次検出してグループ化することにより、スルー画からマスクを抽出する技術である。そして、本実施形態では、ラベリング処理に用いる特徴量としては、動きベクトル、色相、彩度、明度、テクスチャ（模様）、コントラスト等が含まれる。

なお、ＭＰＵ１６の領域抽出部２４は、スルー画に対してパターン認識処理を行うことにより、スルー画からマスクを抽出してもよい。例えば、ＭＰＵ１６の領域抽出部２４がパターン認識処理の一種である顔認識処理をスルー画に対して行うことによりスルー画から人物の顔を認識し、認識された人物の顔をマスクとして抽出してもよい。

そして、ＭＰＵ１６の領域抽出部２４は、スルー画から抽出したマスクの画像を、例えばＥｘｉｆ（Exchangeable Image File Format）形式でバッファメモリ１９に格納する。
そして次に、ステップＳ１２において、ＭＰＵ１６は、先のステップＳ１１において抽出されたマスクのマスク評価値を算出する。この場合、ＭＰＵ１６は、例えば、先のステップＳ１１においてラベリング処理で用いた特徴量を評価項目としてマスクの評点を算出し、算出した評点の合計値に基づいてマスク評価値を算出する。なお、図７に示す例では、スルー画から３つのマスクａ３，ｂ３，ｃ３が抽出されている。そして、図８（ａ）において「測定値３」として示すように、これらのマスクａ３，ｂ３，ｃ３のマスク評価値として、「４」、「５」、「３」という数値がそれぞれ算出されている。また、図８（ｂ）において「測定値４」として示す例では、スルー画に含まれる３つのマスクａ４，ｂ４，ｃ４のマスク評価値として、「３」、「４」、「２」という数値がそれぞれ算出されている。そして、ＭＰＵ１６は、算出したマスク評価値を、マスクの画像の付加情報としてバッファメモリ１９に格納する。

続いて、ステップＳ１３において、ＭＰＵ１６の位置取得部２５は、位置取得ステップとして、先のステップＳ１１においてスルー画から抽出されたマスクのデフォーカス量に基づいてマスクの距離を取得し、取得したマスクの距離をマスクの画像の付加情報としてバッファメモリ１９に格納する。なお、マスクのデフォーカス量は、例えば特開２０１１−１８６４５２号公報に記載のように、マスクのエッジにおける軸上色収差の評価値に基づいて算出される。

そして次に、ステップＳ１４において、ＭＰＵ１６の領域抽出部２４は、先のステップＳ１１において抽出されたマスクの分離・統合処理ルーチンを行う。
ここで、マスクの分離・統合処理ルーチンの詳細を図３に示すフローチャートを用いて説明する。

図３に示すように、ステップＳ４０において、ＭＰＵ１６の領域抽出部２４は、先のステップＳ１１において抽出されたマスクの中に、距離の異なる複数の小領域を含むマスクがあるか否かを判定する。具体的には、ＭＰＵ１６の領域抽出部２４は、マスクのエッジの中に他のエッジと比較して距離が異なるエッジがあるか否かを判定する。そして、ＭＰＵ１６の領域抽出部２４は、距離の異なる複数の小領域を含むマスクがある（ステップＳ４０＝ＹＥＳ）と判定した場合、その処理をステップＳ４１に移行する。

そして次に、ステップＳ４１において、ＭＰＵ１６の領域抽出部２４は、先のステップＳ４０において複数の小領域を含むと判定されたマスクを複数の小領域に分割し、分割した各々の小領域を新たなマスクとして抽出する。そして、ＭＰＵ１６の領域抽出部２４は、新たに抽出したマスクの画像を、例えばＥｘｉｆ形式でバッファメモリ１９に格納する。また、ＭＰＵ１６の領域抽出部２４は、先のステップＳ１３において取得された小領域の距離を、各々が対応する新たなマスクの距離として取得する。さらに、ＭＰＵ１６の領域抽出部２４は、取得された新たなマスクの距離を該マスクの付加情報としてバッファメモリ１９に格納した上で、その処理をステップＳ４２に移行する。

一方、ＭＰＵ１６の領域抽出部２４は、先のステップＳ４０において距離の異なる複数の小領域を含むマスクがない（ステップＳ４０＝ＮＯ）と判定した場合、ステップＳ４１の処理を経ることなく、その処理をステップＳ４２に移行する。

そして、ステップＳ４２において、ＭＰＵ１６の領域抽出部２４は、先のステップＳ１１において抽出されたマスクの中に、スルー画内での配置が隣り合うとともに距離が近接したマスクの組み合わせがあるか否かを判定する。具体的には、ＭＰＵ１６の領域抽出部２４は、まず、先のステップＳ１１において抽出されたマスクの重心位置を算出し、スルー画内における重心位置同士の距離が閾値未満であるマスクの組み合わせを抽出する。そして、ＭＰＵ１６の領域抽出部２４は、抽出された組み合わせにおけるマスク同士の距離の差を算出し、算出された差が閾値未満であるか否かを判定する。

そして、ＭＰＵ１６の領域抽出部２４は、スルー画内での配置が隣り合うとともに距離が近接したマスクの組み合わせがある（ステップＳ４２＝ＹＥＳ）と判定した場合、判定された組み合わせのマスクがスルー画における同一の被写体に含まれる領域であると判断し、その処理をステップＳ４４に移行する。

一方、ＭＰＵ１６の領域抽出部２４は、スルー画内での配置が隣り合うとともに距離が近接したマスクの組み合わせがない（ステップＳ４２＝ＮＯ）と判定した場合、その処理をステップＳ４３に移行する。

そして、ステップＳ４３において、ＭＰＵ１６の領域抽出部２４は、先のステップＳ１１において抽出されたマスクの中に、動きベクトルが近接するとともに距離が近接したマスクの組み合わせがあるか否かを判定する。具体的には、ＭＰＵ１６の領域抽出部２４は、まず、撮影周期ごとに撮像素子１３に繰り返し撮影されるスルー画のフレーム画像の中から先のステップＳ１１において抽出されたマスクの位置を随時検出する。続いて、ＭＰＵ１６の領域抽出部２４は、前後のフレーム画像におけるマスクの位置の変化量を動きベクトルとして算出する。さらに、ＭＰＵ１６の領域抽出部２４は、先のステップＳ１１において抽出されたマスクの中から、動きベクトルの差分が閾値未満であるマスクの組み合わせを抽出する。そして、ＭＰＵ１６の領域抽出部２４は、抽出された組み合わせにおけるマスク同士の距離の差を算出し、算出された差が閾値未満であるか否かを判定する。

そして、ＭＰＵ１６の領域抽出部２４は、動きベクトルが近接するとともに距離が近接したマスクの組み合わせがある（ステップＳ４３＝ＹＥＳ）と判定した場合、判定された組み合わせのマスクがスルー画における同一の被写体に含まれる領域であると判断し、その処理をステップＳ４４に移行する。

そして、ステップＳ４４において、ＭＰＵ１６の領域抽出部２４は、先のステップＳ４２又は先のステップＳ４３において、スルー画における同一の被写体に含まれる領域であると判断された組み合わせのマスクを統合して一つの新たなマスクを抽出する。そして、ＭＰＵ１６の領域抽出部２４は、新たに抽出したマスクの画像を、例えばＥｘｉｆ形式でバッファメモリ１９に格納する。また、ＭＰＵ１６の領域抽出部２４は、先のステップＳ１３において取得された統合前の複数のマスクの距離の平均値を、統合された新たなマスクの距離として取得する。さらに、ＭＰＵ１６の領域抽出部２４は、取得された新たなマスクの距離を該マスクの付加情報としてバッファメモリ１９に格納した上で、図３に示すマスクの分離・統合処理ルーチンを終了し、その処理を図２に示す合焦制御処理ルーチンに戻す。

一方、ＭＰＵ１６の領域抽出部２４は、動きベクトルが近接するとともに距離が近接したマスクの組み合わせがない（ステップＳ４３＝ＮＯ）と判定した場合、ステップＳ４４の処理を経ることなく図３に示すマスクの分離・統合処理ルーチンを終了し、その処理を図２に示す合焦制御処理ルーチンに戻す。

そして次に、図２に示すように、ステップＳ１５において、ＭＰＵ１６の位置取得部２５は、先のステップＳ１３、ステップＳ４１又はステップＳ４３において取得したマスクの距離に基づいてフォーカスマップを算出する。ここで、フォーカスマップとは、スルー画に含まれる各々のマスクのデフォーカス量に基づいて算出されるマスクの距離の分布を意味している。また、マスクの距離の分布とは、マスクの全体における各々のマスクの距離のばらつきを意味しており、スルー画に含まれる複数のマスクの相対的な位置関係によって規定される。

具体的には、ＭＰＵ１６の位置取得部２５は、まず、スルー画の奥行方向における近接側から無限遠側にかけてのマスクの距離を複数の距離範囲に分割する。本実施形態では、これらの距離範囲が、スルー画の奥行方向における近接側から順に、「近接域」、「至近域」、「中景域」、「遠景域」及び「無限遠域」としてそれぞれ設定されている。そして、ＭＰＵ１６の位置取得部２５は、各々のマスクの距離を、スルー画の奥行方向において分割されたこれらの距離範囲に分類する。

図５に示す例では、スルー画に含まれる３つのマスクａ１，ｂ１，ｃ１の距離が何れも比較的小さな値となっており、全てのマスクａ１，ｂ１，ｃ１がスルー画の奥行方向における近接側に位置していることを示している。この場合、図６において「測定値１」として示すように、カメラ１０からの距離が最も近い距離範囲である「近接域」に対し、全てのマスクａ１，ｂ１，ｃ１の距離が偏った状態で分類されている。また、図６において「測定値２」として示す例では、カメラ１０からの距離が最も遠い距離範囲である「無限遠域」に対し、全てのマスクａ２，ｂ２，ｃ２の距離が偏った状態で分類されている。

続いて、ステップＳ１６において、ＭＰＵ１６のモード設定部２７は、先のステップＳ１５において算出されたフォーカスマップに基づいて画像の撮影モードが判定可能であるか否かを判定する。そして、ＭＰＵ１６のモード設定部２７は、スルー画から算出したフォーカスマップに基づいて画像の撮影モードが判定可能である（ステップＳ１６＝ＹＥＳ）と判定した場合には、その処理をステップＳ１７に移行する。

そして次に、ステップＳ１７において、ＭＰＵ１６のモード設定部２７は、先のステップＳ１６において判定された撮影モードを、カメラ１０における画像の撮影モードとして設定する。そして、ＭＰＵ１６は、焦点調整（ＡＦ）の設定、露出調整（ＡＥ）の設定、及び、ホワイトバランス調整（ＡＷＢ）に関するカメラ１０の設定を制御した上で、その処理をステップＳ１８に移行する。

具体的には、図６において「測定値１」として示す例では、スルー画に含まれる全てのマスクの距離が「近接域」に偏った状態のフォーカスマップがスルー画から算出される。そのため、ＭＰＵ１６のモード設定部２７は、スルー画に含まれる全てのマスクの距離が「近接域」に偏った状態のフォーカスマップに基づいて、その時点においてカメラ１０が被写体を接写していると判断し、カメラ１０における画像の撮影モードとして「マクロモード」を設定する。

また、図６において「測定値２」として示す例では、スルー画に含まれる全てのマスクの距離が「無限遠域」に偏った状態のフォーカスマップがスルー画から算出される。そのため、ＭＰＵ１６のモード設定部２７は、スルー画に含まれる全てのマスクの距離が「無限遠域」に偏った状態のフォーカスマップに基づいて、その時点においてカメラ１０が風景を撮影していると判断し、カメラ１０における画像の撮影モードとして「風景モード」を設定する。

一方、ＭＰＵ１６のモード設定部２７は、スルー画から算出したフォーカスマップに基づいて画像の撮影モードが判定可能ではない（ステップＳ１６＝ＮＯ）と判定した場合には、ステップＳ１７の処理を経ることなく、その処理をステップＳ１８に移行する。

そして、ステップＳ１８において、ＭＰＵ１６の合焦領域設定部２６は、不揮発性メモリ１８に格納されているデータベース３０を読み出す。このデータベース３０には、スルー画から算出されるフォーカスマップに対する比較対象となる比較要素の距離の分布と、スルー画に含まれるマスクの中から合焦の対象となる合焦マスクを設定する際の基準として比較要素の中から設定される基準合焦要素とが関連付けられて格納されている。

具体的には、図９において「基準分布１」として示す比較要素の距離の分布では、３つの比較要素ｒａ１，ｒｂ１，ｒｃ１の距離が「近接域」、「至近域」及び「中景域」にそれぞれ位置している。また、この分布では、３つの比較要素ｒａ１，ｒｂ１，ｒｃ１のうち、スルー画の奥行方向において相対的に無限遠側となる「中景域」に位置する比較要素ｒｃ１が基準合焦要素として設定されている。

また、図９において「基準分布２」として示す比較要素の距離の分布では、３つの比較要素ｒａ２，ｒｂ２，ｒｃ２の距離が「至近域」、「中景域」及び「遠景域」にそれぞれ位置している。また、この分布では、３つの比較要素ｒａ２，ｒｂ２，ｒｃ２のうち、スルー画の奥行方向において相対的に近接側となる「至近域」に位置する比較要素ｒａ２が基準合焦要素として設定されている。

また、図９において「基準分布３」として示す比較要素の距離の分布では、３つの比較要素ｒａ３，ｒｂ３，ｒｃ３の距離が「中景域」、「遠景域」及び「無限遠域」にそれぞれ位置している。また、この分布では、３つの比較要素ｒａ３，ｒｂ３，ｒｃ３のうち、スルー画の奥行方向において相対的に近接側に位置する「中景域」と、相対的に無限遠側に位置する「無限遠域」との間となる「遠景域」に位置する比較要素ｒｂ３が基準合焦要素として設定されている。

すなわち、本実施形態では、比較要素のうち最も近接側に位置する比較要素が基準合焦要素として一律に設定されておらず、比較要素の分布に応じて該分布を構成する比較要素のうち基準合焦要素として設定される比較要素が多様に設定されている。なお、図９に示す例では、分布を構成する比較要素の数が３つとなっているが、分布を構成する比較要素の数としては、複数であれば任意の数を採用できる。

そして次に、ステップＳ１９において、ＭＰＵ１６の合焦領域設定部２６は、先のステップＳ１５において算出したフォーカスマップと、先のステップＳ１８において読み出した比較要素の距離の分布とを照合する分布照合処理ルーチンを行う。

ここで、分布照合処理ルーチンの詳細を図４に示すフローチャートを用いて説明する。
図４に示すように、ステップＳ６０において、ＭＰＵ１６の合焦領域設定部２６は、先のステップＳ１５において算出したフォーカスマップを構成する各々のマスクの距離と、先のステップＳ１８において読み出した分布を構成する各々の比較要素の距離との差分を算出する。

なお、図７に示す例では、スルー画に含まれる３つのマスクａ３，ｂ３，ｃ３の距離が離散した値となっており、これらマスクａ３，ｂ３，ｃ３がスルー画の奥行方向に距離を隔てて配置されている。この場合、図９において「測定値３」として示すように、フォーカスマップは、３つのマスクａ３，ｂ３，ｃ３の距離が「近接域」、「至近域」及び「中景域」にそれぞれ位置している。そして、ＭＰＵ１６の合焦領域設定部２６は、図９において「測定値３」として示すフォーカスマップと、図９において「基準分布１」として示す比較要素の距離の分布とを比較する場合には、ステップＳ６０において以下のような処理を行う。すなわち、ＭＰＵ１６の合焦領域設定部２６は、マスクａ３，ｂ３，ｃ３及び比較要素ｒａ１，ｒｂ１，ｒｃ１の間における１対１の全ての組み合わせについて、マスクの距離と比較要素の距離との差分を算出する。

そして次に、ステップＳ６１において、ＭＰＵ１６の合焦領域設定部２６は、先のステップＳ６０において算出した距離の差分が最小となるマスクと比較要素との組み合わせを抽出する。なお、ＭＰＵ１６の合焦領域設定部２６は、図９における上記の例では、各々のマスクａ３，ｂ３，ｃ３について３つの比較要素ｒａ１，ｒｂ１，ｒｃ１との距離の差分をそれぞれ算出し、算出された距離の差分が最小となる比較要素を各々のマスクａ３，ｂ３，ｃ３との組み合わせの対象として抽出する。この場合、「近接域」に位置するマスクａ３と、「近接域」に位置する比較要素ｒａ１とが組み合わされる。また、「至近域」に位置するマスクｂ３と、「至近域」に位置する比較要素ｒｂ１とが組み合わされる。また、「中景域」に位置するマスクｃ３と、「中景域」に位置する比較要素ｒｃ１とが組み合わされる。

続いて、ステップＳ６２において、ＭＰＵ１６の合焦領域設定部２６は、先のステップＳ６１において抽出された全ての組み合わせについて、マスクと比較要素との距離の差分が閾値未満であるか否かを判定する。この閾値は、フォーカスマップと比較要素の距離の分布とを照合する上で、各々のマスクに対応する比較要素があるか否かを判定する際の基準値となっている。なお、ＭＰＵ１６の合焦領域設定部２６は、図９における上記の例では、全てのマスクａ３，ｂ３，ｃ３について各々の距離範囲が一致する比較要素ｒａ１，ｒｂ１，ｒｃ１が存在するため、先のステップＳ６１において抽出された全ての組み合わせについて、マスクａ３，ｂ３，ｃ３と比較要素ｒａ１，ｒｂ１，ｒｃ１との距離の差分が閾値未満であると判定する。そして、ＭＰＵ１６の合焦領域設定部２６は、先のステップＳ６１において抽出された全ての組み合わせについて、マスクと比較要素との距離の差分が閾値未満である（ステップＳ６２＝ＹＥＳ）と判定した場合には、その処理をステップＳ６３に移行する。

そして、ステップＳ６３において、ＭＰＵ１６の合焦領域設定部２６は、不揮発性メモリ１８にデータベース３０として格納された比較要素の距離の分布のうち、その時点で比較の対象とされている比較要素の距離の分布が、先のステップＳ１５において算出されたフォーカスマップに対して照合可能であると判定する。なお、ＭＰＵ１６の合焦領域設定部２６は、図９における上記の例では、「基準分布１」として示す比較要素の距離の分布が、「測定値３」として示すフォーカスマップに対して照合可能であると判定する。その後、ＭＰＵ１６の合焦領域設定部２６は、図４に示す分布照合処理ルーチンを終了し、その処理を図２に示す合焦制御処理ルーチンに戻す。

一方、ＭＰＵ１６の合焦領域設定部２６は、先のステップＳ６２において抽出された全ての組み合わせについて、マスクと比較要素との距離の差分が閾値未満でない（ステップＳ＝ＮＯ）と判定した場合には、その処理をステップＳ６４に移行する。

そして、ステップＳ６４において、ＭＰＵ１６の合焦領域設定部２６は、不揮発性メモリ１８にデータベース３０として格納された全ての比較要素の距離の分布が、先のステップＳ１５において算出されたフォーカスマップとの比較のために読み出されたか否かを判定する。そして、ＭＰＵ１６の合焦領域設定部２６は、不揮発性メモリ１８にデータベース３０として格納された全ての比較要素の距離の分布が読み出されていない（ステップＳ６４＝ＮＯ）と判定した場合、その処理をステップＳ６５に移行する。

そして、ステップＳ６５において、ＭＰＵ１６の合焦領域設定部２６は、不揮発性メモリ１８にデータベース３０として格納された比較要素の距離の分布のうち、先のステップＳ１５において算出されたフォーカスマップとの比較のために読み出す分布を変更する。なお、ＭＰＵ１６の合焦領域設定部２６は、図９に示す例では、フォーカスマップとの比較のために読み出される比較要素の距離の分布を「基準分布１」から「基準分布２」に変更する。その後、ＭＰＵ１６の合焦領域設定部２６は、その処理をステップＳ６０に戻し、ステップＳ６０〜ステップＳ６２、ステップＳ６４、ステップＳ６５の処理を繰り返す。

一方、ＭＰＵ１６の合焦領域設定部２６は、不揮発性メモリ１８にデータベース３０として格納された全ての比較要素の距離の分布が、先のステップＳ１５において算出されたフォーカスマップとの比較のために読み出された（ステップＳ６４＝ＹＥＳ）と判定した場合、その処理をステップＳ６６に移行する。

そして、ステップＳ６６において、ＭＰＵ１６の合焦領域設定部２６は、不揮発性メモリ１８にデータベース３０として格納された比較要素の距離の分布の中に、先のステップＳ１５において算出されたフォーカスマップに対して照合可能な分布は存在しないと判定する。

なお、図９において「測定値４」として示すフォーカスマップでは、３つのマスクａ４．ｂ４，ｃ４の距離が「近接域」、「中景域」及び「遠景域」にそれぞれ位置している。そして、この分布は、不揮発性メモリ１８に格納された全ての比較要素の距離の分布（図９において「基準分布１」、「基準分布２」及び「基準分布３」として示す）に対して照合可能となっていない。すなわち、不揮発性メモリ１８に格納された何れの分布も、「測定値４」として示すフォーカスマップにおける全てのマスクａ４，ｂ４，ｃ４について、各々の距離範囲が一致する比較要素が存在する分布とはなっていない。そのため、ＭＰＵ１６の合焦領域設定部２６は、不揮発性メモリ１８にデータベース３０として格納された比較要素の距離の分布の中に、図９において「測定値４」として示すフォーカスマップに対して照合可能な分布は存在しないと判定する。その後、ＭＰＵ１６の合焦領域設定部２６は、図４に示す分布照合処理ルーチンを終了し、その処理を図２に示す合焦制御処理ルーチンに戻す。

そして次に、ステップＳ２０において、ＭＰＵ１６の合焦領域設定部２６は、先のステップＳ１９において、不揮発性メモリ１８にデータベース３０として格納された比較要素の距離の分布の中に、スルー画から算出されたフォーカスマップに対して照合された分布があったか否かを判定する。そして、ＭＰＵ１６の合焦領域設定部２６は、スルー画から算出されたフォーカスマップに対して照合された比較要素の距離の分布がある（ステップＳ２０＝ＹＥＳ）と判定した場合には、その処理をステップＳ２１に移行する。

そして次に、ステップＳ２１において、ＭＰＵ１６の合焦領域設定部２６は、先のステップＳ１９においてフォーカスマップに対して照合された比較要素の距離の分布の中から基準合焦要素を読み出す。図９において「測定値３」として示すフォーカスマップでは、図９において「基準分布１」として示す比較要素の距離の分布における基準合焦要素として比較要素ｒｃ１が読み出される。

続いて、ステップＳ２２において、ＭＰＵ１６の合焦領域設定部２６は、スルー画から算出されたフォーカスマップを構成するマスクの中から、先のステップＳ２１において読み出した基準合焦要素と対応するマスクの画像の付加情報としてフラグ情報を書き込んだ上で、その処理をステップＳ２４に移行する。すなわち、ＭＰＵ１６の合焦領域設定部２６は、スルー画から算出されたフォーカスマップを構成するマスクの中から、先のステップＳ１９において基準合焦要素と対応付けられたマスクの画像の付加情報としてフラグ情報を書き込む。図９において「測定値３」として示すフォーカスマップでは、先のステップＳ１９において比較要素ｒｃ１と対応付けられたマスクｃ３の画像の付加情報に対してフラグ情報が書き込まれる。

一方、ＭＰＵ１６の合焦領域設定部２６は、スルー画から算出されたフォーカスマップに対して照合された比較要素の距離の分布がない（ステップＳ２０＝ＮＯ）と判定した場合には、その処理をステップＳ２３に移行する。

そして、ステップＳ２３において、ＭＰＵ１６の合焦領域設定部２６は、スルー画に含まれるマスクの距離の大小関係に基づいてマスクの画像の付加情報に対してフラグ情報を書き込んだ上で、その処理をステップＳ２４に移行する。具体的には、ＭＰＵ１６の合焦領域設定部２６は、一例として、スルー画に含まれるマスクのうち、距離が最も小さいマスク、即ち、スルー画の奥行方向において最も近接側に位置するマスクの画像の付加情報に対してフラグ情報を書き込む。図９において「測定値４」として示すフォーカスマップでは、このフォーカスマップを構成するマスクａ４，ｂ４，ｃ４のうち、距離が最も小さいマスクａ４の画像の付加情報に対してフラグ情報が書き込まれる。

そして次に、ステップＳ２４において、ＭＰＵ１６の合焦領域設定部２６は、先のステップＳ２２又はステップＳ２３においてフラグ情報が書き込まれたマスクのマスク評価値に対して距離評価値を加算する。なお、図８（ａ）において「測定値３」として示す例では、フォーカスマップを構成するマスクａ３，ｂ３，ｃ３のうち、マスクｃ３の画像の付加情報に対してフラグ情報が書き込まれている。そのため、先のステップＳ１２において算出したマスクｃ３のマスク評価値である「３」に対し、距離評価値として「５」という数値が加算される。その結果、マスクｃ３の評価値は、「８」という数値となる。また、図８（ｂ）において「測定値４」として示す例では、フォーカスマップを構成するマスクａ４，ｂ４，ｃ４のうち、マスクａ４の画像の付加情報に対してフラグ情報が書き込まれている。そのため、先のステップＳ１２において算出したマスクａ４のマスク評価値である「３」に対し、距離評価値として「５」という数値が加算される。その結果、マスクａ４の評価値は「８」という数値となる。

続いて、ステップＳ２５において、ＭＰＵ１６の合焦領域設定部２６は、合焦領域設定ステップとして、スルー画から算出されたフォーカスマップを構成するマスクのうち、先のステップＳ２５において算出されるマスクの評価値の合計が最も高いマスクを、スルー画において合焦の対象となる合焦マスクとして設定する。なお、図８（ａ）において「測定値３」として示す例では、フォーカスマップを構成するマスクａ３，ｂ３，ｃ３のうち、先のステップＳ２４において距離評価値が加算されたマスクｃ３が合焦マスクとして設定される。また、図８（ｂ）において「測定値４」として示す例では、フォーカスマップを構成するマスクａ４，ｂ４，ｃ４のうち、先のステップＳ２４において距離評価値が加算されたマスクａ４が合焦マスクとして設定される。

そして次に、ステップＳ２６において、ＭＰＵ１６は、レリーズボタン３２の半押し操作がなされたか否かを判定する。そして、ＭＰＵ１６は、レリーズボタン３２の半押し操作がなされた（ステップＳ２６＝ＹＥＳ）と判定した場合、その処理をステップＳ２７に移行する。

そして、ステップＳ２７において、スルー画のうち、先のステップＳ２５において設定された合焦マスクを対象としたコントラストＡＦを実行した上で、その処理をステップＳ２８に移行する。その結果、スルー画が合焦マスクにおいて合焦された状態となる。

一方、ＭＰＵ１６は、レリーズボタン３２の半押し操作がなされていない（ステップＳ２６＝ＮＯ）と判定した場合、ステップＳ２７の処理を経ることなく、その処理をステップＳ２８に移行する。

そして、ステップＳ２８において、ＭＰＵ１６は、撮影指示信号が入力されたか否かを判定する。この撮影指示信号は、レリーズボタン３２が全押しされた際に画像処理エンジン１４に操作信号として入力される。なお、モニタ２１がタッチパネルである場合には、モニタ２１が画像の撮影のためにタッチ操作された際に撮影指示信号が操作信号として画像処理エンジン１４に入力される。そして、ＭＰＵ１６は、撮影指示信号が入力されていない（ステップＳ２８＝ＮＯ）と判定した場合、その処理をステップＳ１０に戻し、撮影指示信号が入力されるまでステップＳ１０〜ステップＳ２８の処理を繰り返す。一方、ＭＰＵ１６は、撮影指示信号が入力された（ステップＳ２８＝ＹＥＳ）と判定した場合、その処理をステップＳ２９に移行する。

そして、ステップＳ２９において、ＭＰＵ１６は、その時点で撮像素子１３から出力された画素信号に基づいて生成している静止画を撮影画像として不揮発性メモリ１８に格納する。

次に、上記のように構成されたカメラ１０の作用について、特に、ＭＰＵ１６がスルー画に含まれるマスクの中から合焦の対象となる合焦マスクを設定する際の作用に着目して以下説明する。

さて、本実施形態では、ＭＰＵ１６は、スルー画に含まれるマスクの距離の分布としてフォーカスマップを算出し、算出されたフォーカスマップを不揮発性メモリ１８にデータベース３０として格納された比較要素の距離の分布と比較する。そして、ＭＰＵ１６は、フォーカスマップと照合された分布における比較要素のうち、基準合焦要素として設定された比較要素に対応するマスクのマスク評価値に対して距離評価値を加算する。

すなわち、ＭＰＵ１６は、スルー画に含まれるマスクについて、人が注目することが想定される度合の指標としてマスク評価値を算出した上で、基準合焦要素に対応する一部のマスクのマスク評価値に対して距離評価値を加算する。

特に、本実施形態では、ＭＰＵ１６は、マスクの全体における各々のマスクの距離のばらつきを意味するフォーカスマップに基づいて、距離評価値が加算されるマスクを設定する。そのため、ＭＰＵ１６は、必ずしも、マスク評価値が最も高いマスクを合焦マスクとして設定するわけではなく、スルー画の奥行方向におけるマスク同士の相対的な位置関係を考慮した上で合焦マスクを設定する。

また、本実施形態では、不揮発性メモリ１８にデータベース３０として格納されている比較要素の距離の分布は、比較要素の分布に応じて該分布を構成する比較要素のうち基準合焦要素として設定される比較要素が多様に設定されている。すなわち、不揮発性メモリ１８にデータベース３０として格納されている比較要素の距離の分布は、比較要素のうち最も近接側に位置する比較要素が基準合焦要素として一律に設定されていない。

そのため、ＭＰＵ１６は、スルー画から算出したフォーカスマップを、不揮発性メモリ１８にデータベース３０として格納された比較要素の距離の分布のうち何れの分布に対して照合したかに応じて、スルー画に含まれるマスクのうち合焦マスクとして設定するマスクを多様に変更する。したがって、ＭＰＵ１６は、スルー画のうち人が注目することが想定される領域の候補として複数のマスクを抽出した場合であっても、これらのマスクのうち最も近接側に位置するマスクを合焦マスクとして一律に設定することはない。

上記第１の実施形態によれば、以下に示す効果を得ることができる。
（１）スルー画に含まれるマスク同士におけるスルー画の奥行方向の相対位置に基づいて合焦マスクが設定される。そのため、スルー画において合焦対象となる領域を多様に設定することができる。

（２）スルー画に含まれるマスクの全体の距離のばらつきに基づいて合焦マスクが設定される。そのため、スルー画において合焦対象となる領域を更に多様に設定することができる。

（３）スルー画から算出されるフォーカスマップを、不揮発性メモリ１８にデータベース３０として格納された比較要素の距離の分布に対して照合する。そのため、スルー画から算出されたフォーカスマップに適した態様で、スルー画において合焦対象となる領域を多様に設定することができる。

（４）マスクのエッジにおける軸上色収差の評価値に基づいてマスクの距離が取得されるため、スルー画の焦点調節のためにフォーカスレンズ１１を動かすことなく、マスク同士のスルー画の奥行方向における相対位置を取得することができる。

（５）スルー画からのマスクの抽出結果に対してマスクの距離のデータを組み合わせることにより、スルー画から抽出された複数のマスクが一つの被写体から抽出されたマスクであると判定された場合には、これらのマスクが統合される。そのため、スルー画に含まれる各々の被写体を一つのマスクとして抽出する精度が高められる。したがって、スルー画の奥行方向におけるマスク同士の相対位置を、スルー画の奥行方向における被写体同士の相対位置として正確に取得することができる。

（６）スルー画からのマスクの抽出結果に対してマスクの距離のデータを組み合わせることにより、スルー画から抽出した一つのマスクに複数の被写体から抽出された小領域が含まれると判定された場合には、マスクが複数の小領域に分割される。そのため、スルー画に含まれる各々の被写体を一つのマスクとして抽出する精度が高められる。したがって、スルー画の奥行方向におけるマスク同士の相対位置を、スルー画の奥行方向における被写体同士の相対位置として正確に取得することができる。

（７）スルー画から算出されたフォーカスマップに基づいて、画像の撮影に適した撮影モードを自動的に設定することができる。
（８）スルー画から算出したフォーカスマップが、スルー画に含まれる全てのマスクがスルー画の奥行方向における近接側に偏っている状態を示している場合、カメラ１０が被写体を接写した状態であると判定される。そして、その撮影に適した撮影モードであるマクロモードにカメラ１０の撮影モードを自動的に設定することができる。

（９）スルー画から算出したフォーカスマップが、スルー画に含まれる全てのマスクがスルー画の奥行方向における無限遠側に偏っている状態を示している場合、カメラ１０が風景を撮影していると判定される。そして、その撮影に適した撮影モードである風景モードにカメラ１０の撮影モードを自動的に設定することができる。

（第２の実施形態）
次に、第２の実施形態について説明する。なお、第２の実施形態は、マスクの距離及び配置の組み合わせの分布に基づいて合焦マスクが設定される点が第１の実施形態と異なる。したがって、以下の説明においては、第１の実施形態と相違する構成について主に説明し、第１の実施形態と同一又は相当する構成については同一符号を付して重複説明を省略する。

図１０に示すように、本実施形態のＭＰＵ１６が実行する合焦制御処理ルーチンにおいて、ステップＳ１００〜ステップＳ１０３の各処理は第１の実施形態における図２のステップＳ１０、ステップＳ１１、ステップＳ１３、ステップＳ１４の各処理と同様である。

そして、ステップＳ１０４において、ＭＰＵ１６の位置取得部２５は、先のステップＳ１０１において抽出されたマスクの重心位置を算出した上で、算出された重心位置とスルー画の画角の中心点とのずれ量をマスクの配置として取得する。

図１１及び図１２に示す例では、スルー画に含まれる６つのマスクａ２１〜ｆ２１の重心位置Ｇａ〜Ｇｆとスルー画の画角の中心点Ｐとのずれ量Ｒａ〜Ｒｆがマスクａ２１〜ｆ２１の配置としてそれぞれ取得される。そして、ＭＰＵ１６の位置取得部２５は、取得したマスクの配置をマスクの画像の付加情報としてバッファメモリ１９に格納する。

続いて、ステップＳ１０５において、ＭＰＵ１６の位置取得部２５は、先のステップ１０２において取得されたマスクの距離と、先のステップＳ１０４において取得されたマスクの配置とに基づいてフォーカスマップを算出する。ここで、本実施形態のフォーカスマップは、スルー画に含まれる各々のマスクの距離及び配置の組み合わせの分布を意味している。この場合、マスクの距離及び配置の組み合わせの分布とは、マスクの全体における各々のマスクの距離及び配置の組み合わせのばらつきを意味している。なお、図１２に示す例では、横軸を画角の中心点からのずれ量とし、縦軸をマスクの距離とした座標系において、各々のマスクの距離及び配置の組み合わせを座標系においてプロットした場合に、プロットした座標から求まる近似曲線Ｓがフォーカスマップとして算出される。

そして次に、ステップＳ１０６において、ＭＰＵ１６のモード設定部２７は、第１の実施形態における図２のステップＳ１６の処理と同様にして、先のステップＳ１０５において算出されたフォーカスマップに含まれるマスクの距離の分布に基づいて、画像の撮影モードが判定可能であるか否かを判定する。なお、ＭＰＵ１６のモード設定部２７は、先のステップＳ１０５においてフォーカスマップとして算出したマスクの距離及び配置の組み合わせの分布に基づいて、画像の撮影モードが判定可能であるか否かを判定してもよい。

そして、ＭＰＵ１６のモード設定部２７は、スルー画から算出したフォーカスマップに基づいて画像の撮影モードが判定可能である（ステップＳ１０６＝ＹＥＳ）と判定した場合には、その処理をステップＳ１０７に移行する。

そして次に、ステップＳ１０７において、ＭＰＵ１６のモード設定部２７は、第１の実施形態における図２のステップＳ１７の処理と同様にして、先のステップＳ１０６において判定された撮影モードを、カメラ１０における画像の撮影モードとして設定した上で、その処理をステップＳ１０８に移行する。

一方、ＭＰＵ１６のモード設定部２７は、スルー画から算出したフォーカスマップに基づいて画像の撮影モードが判定可能ではない（ステップＳ１０６＝ＮＯ）と判定した場合には、ステップＳ１０７の処理を経ることなく、その処理をステップＳ１０８に移行する。

そして、ステップＳ１０８において、ＭＰＵ１６の合焦領域設定部２６は、先のステップＳ１０１において抽出されたマスクのうち、スルー画の画角の中心点からのずれ量が相対的に小さいマスク群を第１マスク群として設定し、スルー画の画角の中心点からのずれ量が相対的に大きいマスク群を第２マスク群として設定する。なお、図１１及び図１２に示す例では、スルー画に含まれる６つのマスクａ２１〜ｆ２１のうち、マスクａ２１〜ｃ２１が第１マスク群として設定されるとともに、マスクｄ２１〜ｆ２１が第２マスク群として設定される。

そして次に、ステップＳ１０９において、ＭＰＵ１６の合焦領域設定部２６は、先のステップＳ１０８において設定された第１マスク群及び第２マスク群の距離の平均値Ｔ１及び平均値Ｔ２をそれぞれ算出する。なお、図１２に示す例では、第１マスク群の距離の平均値Ｔ１が「（Ｌａ＋Ｌｂ＋Ｌｃ）／３」として算出されるとともに、第２マスク群の距離の平均値Ｔ２が「（Ｌｄ＋Ｌｅ＋Ｌｆ）／３」として算出される。

続いて、ステップＳ１１０において、ＭＰＵ１６の合焦領域設定部２６は、先のステップＳ１０９において算出された第１マスク群の距離の平均値Ｔ１が第２マスク群の距離の平均値Ｔ２よりも大きいか否かを判定する。そして、ＭＰＵ１６の合焦領域設定部２６は、第１マスク群の距離の平均値Ｔ１が第２マスク群の距離の平均値Ｔ２よりも大きい（ステップＳ１１０＝ＹＥＳ）と判定した場合には、その処理をステップＳ１１１に移行する。

そして、ステップＳ１１１において、ＭＰＵ１６の合焦領域設定部２６は、先のステップＳ１０８において設定された第１マスク群のうち、距離が最も大きいマスクをスルー画において合焦の対象となる合焦マスクとして設定する。すなわち、ＭＰＵ１６の合焦領域設定部２６は、第１マスク群の距離の平均値Ｔ１が第２マスク群の距離の平均値Ｔ２よりも大きい場合には、スルー画に含まれるマスクの配置パターンが、スルー画の画角の周辺側から中心側にかけてマスクの距離が次第に大きくなるように連続的に配置される「パースペクティブパターン」であると判断する。そして、ＭＰＵ１６の合焦領域設定部２６は、「パースペクティブパターン」において人が注目することが想定される領域として、スルー画に含まれるマスクのうち最奥側のマスクを合焦マスクとして設定する。

一方、ＭＰＵ１６の合焦領域設定部２６は、第１マスク群の距離の平均値Ｔ１が第２マスク群の距離の平均値Ｔ２以下である（ステップＳ１１０＝ＮＯ）と判定した場合には、その処理をステップＳ１１２に移行する。

そして、ステップＳ１１２において、ＭＰＵ１６の合焦領域設定部２６は、スルー画に含まれるマスクの距離の大小関係に基づいて合焦マスクを設定する。具体的には、ＭＰＵ１６の合焦領域設定部２６は、一例として、スルー画に含まれるマスクのうち、距離が最も小さいマスク、即ち、スルー画の奥行方向において最も近接側に位置するマスクを合焦マスクとして設定する。

そして以後、ＭＰＵ１６は、ステップＳ１１３〜ステップＳ１１６において、第１の実施形態における図２のステップＳ２６〜ステップＳ２９の各処理と同様の処理を経て、撮影画像を生成する。

上記第２の実施形態によれば、上記第１の実施形態の効果（１）、（４）〜（９）に加え、以下に示す効果を得ることができる。
（１０）スルー画内での配置と組み合わされたマスクの全体の距離のばらつきに基づいて合焦マスクが設定される。そのため、スルー画において合焦の対象となる領域を更に多様に設定することができる。

（第３の実施形態）
次に、第３の実施形態について説明する。なお、第３の実施形態は、マスクの距離及び配置の組み合わせの分布に基づく合焦マスクの設定の態様が第２の実施形態と異なる。したがって、以下の説明においては、第２の実施形態と相違する構成について主に説明し、第２の実施形態と同一又は相当する構成については同一符号を付して重複説明を省略する。

図１３に示すように、本実施形態のＭＰＵ１６が実行する合焦制御処理ルーチンにおいて、ステップＳ２００〜ステップＳ２０３の各処理は第２の実施形態における図１０のステップＳ１００〜Ｓ１０３の各処理と同様である。

そして、ステップＳ２０４において、ＭＰＵ１６の位置取得部２５は、先のステップ２０２において取得されたマスクの距離、及び、マスクの配置に基づいてフォーカスマップを算出する。この場合、ＭＰＵ１６の位置取得部２５は、スルー画内におけるマスクの重心位置をマスクの配置として取得し、取得した重心位置をマスクの距離と組み合わせることによりフォーカスマップを算出する。

そして次に、ステップＳ２０５において、ＭＰＵ１６のモード設定部２７は、第２の実施形態における図１０のステップＳ１０６の処理と同様にして、先のステップＳ２０４において算出されたフォーカスマップに含まれるマスクの距離の分布に基づいて画像の撮影モードが判定可能であるか否かを判定する。そして、ＭＰＵ１６のモード設定部２７は、スルー画から算出したフォーカスマップに基づいて画像の撮影モードが判定可能である（ステップＳ２０５＝ＹＥＳ）と判定した場合には、その処理をステップＳ２０６に移行する。

続いて、ステップＳ２０６において、ＭＰＵ１６のモード設定部２７は、第２の実施形態における図１０のステップＳ１０７の処理と同様にして、先のステップＳ２０５において判定された撮影モードを、カメラ１０における画像の撮影モードとして設定した上で、その処理をステップＳ２０７に移行する。

一方、ＭＰＵ１６のモード設定部２７は、スルー画から算出したフォーカスマップに基づいて画像の撮影モードが判定可能ではない（ステップＳ２０５＝ＮＯ）と判定した場合には、ステップＳ２０６の処理を経ることなく、その処理をステップＳ２０７に移行する。

そして、ステップＳ２０７において、ＭＰＵ１６の合焦領域設定部２６は、先のステップＳ２０１において抽出されたマスクのうち、上下に並列したマスクの数Ｎが３つ以上であるか否かを判定する。この場合、ＭＰＵ１６の合焦領域設定部２６は、一例として、左右方向におけるマスク同士の重心位置のずれ量が所定の閾値未満であって、且つ、上下方向におけるマスク同士の輪郭の距離が所定の閾値未満である場合に、判定対象のマスクが上下に並列していると判定する。そして、ＭＰＵ１６の合焦領域設定部２６は、上下に並列したマスクの数Ｎが３つ以上である（ステップＳ２０７＝ＹＥＳ）と判定した場合、その処理をステップＳ２０８に移行する。

そして次に、ステップＳ２０８において、ＭＰＵ１６の合焦領域設定部２６は、上下に並列したＮ個のマスクを、最下端側から順に第１〜第Ｎマスクとして設定する。
続いて、ステップＳ２０９において、ＭＰＵ１６の合焦領域設定部２６は、上下に並列したマスクのうち、最下端側から数えて何番目のマスクの距離を比較対象とすべきかを示す番号Ｍを初期値Ｍ＝「１」に設定する。

次に、ステップＳ２１０において、ＭＰＵ１６の合焦領域設定部２６は、上下に並列したマスクのうち、最下端側から数えてＭ番目に位置するマスクの距離が、その上方に隣り合う（Ｍ＋１）番目のマスクの距離よりも小さいか否かを判定する。すなわち、ＭＰＵ１６の合焦領域設定部２６は、Ｍ＝「１」に設定した状態では、上下に並列したマスクのうち、最下端のマスクの距離がその上方に隣り合うマスクの距離よりも小さいか否かを判定する。そして、ＭＰＵ１６の合焦領域設定部２６は、Ｍ番目に位置するマスクの距離が、その上方に隣り合うマスクの距離よりも小さい（ステップＳ２１０＝ＹＥＳ）と判定した場合、その処理をステップＳ２１１に移行する。

そして次に、ステップＳ２１１において、ＭＰＵ１６の合焦領域設定部２６は、「Ｍ＜Ｎ−１」という関係式を満たすか否かを判定する。そして、ＭＰＵ１６の合焦領域設定部２６は、「Ｍ＜Ｎ−１」という関係式を満たす（ステップＳ２１１＝ＹＥＳ）と判定した場合には、その処理をステップＳ２１２に移行する。

続いて、ステップＳ２１２において、ＭＰＵ１６の合焦領域設定部２６は、ＭをＭ＋１にインクリメントした後に、その処理をステップＳ２１０に戻す。
そして、ＭＰＵ１６の合焦領域設定部２６は、Ｍ＝「２」に設定した状態でステップＳ２１０の処理を再び行う。この場合、ＭＰＵ１６の合焦領域設定部２６は、上下に並列したマスクのうち、最下端側から二番目のマスクの距離がその上方に隣り合うマスクの距離よりも小さいか否かを判定する。

すなわち、ＭＰＵ１６の合焦領域設定部２６は、Ｍ番目に位置するマスクの距離が、その上方に隣り合うマスクの距離よりも小さいという条件を満たす限り、Ｍをインクリメントする。そして、Ｍがインクリメントされる度に、上下に並列したマスクのうち、比較の対象となるマスクの組み合わせが最下端側から一つずつ上方にずれていく。

そして、ＭＰＵ１６の合焦領域設定部２６は、先のステップＳ２１０における条件を満たす間に、「Ｍ＜Ｎ−１」という条件を満たさなくなった（ステップＳ２１１＝ＮＯ）時点で、上下に並列した全てのマスクの組み合わせについて距離の比較が完了したと判断し、その処理をステップＳ２１３に移行する。

そして次に、ステップＳ２１３において、ＭＰＵ１６の合焦領域設定部２６は、上下に並列したマスクのうち最上端のマスクとなる第Ｎマスクをスルー画において合焦の対象となる合焦マスクとして設定した上で、その処理をステップＳ２１７に移行する。すなわち、ＭＰＵ１６の合焦領域設定部２６は、上下に並列した全てのマスクについて先のステップＳ２１０における条件を満たす場合には、スルー画に含まれるマスクの配置パターンが、台座の上に物体が載置された配置パターンであると判断する。そして、ＭＰＵ１６の合焦領域設定部２６は、この配置パターンにおいて上下に並列したマスクのうち最上端のマスクが台座の上に載置された物体であると想定し、この最上端のマスクを合焦マスクとして設定する。

なお、図１４（ａ）に示す例では、スルー画に含まれる３つのマスクａ３１〜ｃ３１が上下に並列しており、これらのマスクａ３１〜ｃ３１の距離は、最下端のマスクａ３１、中央のマスクｂ３１、最上端のマスクｃ３１の順に次第に大きくなる。そのため、これらのマスクａ３１〜ｃ３１の配置パターンは、台座の上に物体が載置された配置パターンであると判断され、これらのマスクａ３１〜ｃ３１のうち最上端のマスクｃ３１が合焦マスクとして設定される。

一方、ＭＰＵ１６の合焦領域設定部２６は、先のステップＳ２１１における「Ｍ＜Ｎ−１」という条件を満たさなくなる前時点で、先のステップＳ２１０における条件を満たさなくなった（ステップＳ２１０＝ＮＯ）場合、その処理をステップＳ２１４に移行する。

そして、ステップＳ２１４において、ＭＰＵ１６の合焦領域設定部２６は、上下に並列したマスクのうち、第Ｍ〜第Ｎマスクを合焦マスクの候補として設定する。すなわち、ＭＰＵ１６の合焦領域設定部２６は、上下に並列したマスクのうち、一部のマスクについては先のステップＳ２１０における条件を満たしていたことを根拠に、スルー画に含まれるマスクの配置パターンが台座の上に物体が載置された配置パターンの可能性があると推定する。そのため、ＭＰＵ１６の合焦領域設定部２６は、上下に並列したマスクのうち上端側に位置する第Ｍ〜第Ｎマスクを、台座の上に載置された物体の可能性があるマスクの候補として設定する。

なお、図１４（ｂ）に示す例では、スルー画に含まれる３つのマスクａ３２〜ｃ３２が上下に並列しており、これらのマスクａ３２〜ｃ３２の距離は、最下端のマスクａ３２、最上端のマスクｃ３２、中央のマスクｂ３２の順に次第に大きくなる。そのため、最下端のマスクａ３２の距離が中央のマスクｂ３２よりも小さいものの、中央のマスクｂ３２の距離が最上端のマスクｃ３２よりも距離が大きい。そのため、上下に並列したマスクａ３２〜ｃ３２のうち、中央のマスクｂ３２及び最上端のマスクｃ３２が合焦マスクの候補として設定される。

そして、ＭＰＵ１６の合焦領域設定部２６は、候補となるマスクの中から合焦マスクが選択されたか否かを判定する。ここで、合焦マスクの選択の有無は、例えば、操作部３３を構成するセレクトボタンや決定ボタンの押圧操作を通じて合焦マスクの選択及び決定がなされたか否かに基づいて判定される。なお、合焦マスクの選択の有無は、モニタ２１がタッチパネルである場合には、モニタ２１のタッチ操作を通じて合焦マスクの選択及及び決定がなされたか否かに基づいて判定されてもよい。そして、ＭＰＵ１６の合焦領域設定部２６は、合焦マスクの選択がなされていない（ステップＳ２１４＝ＮＯ）と判定した場合、合焦マスクの選択がなされるまでステップＳ２１４の処理を周期的に繰り返す。一方、ＭＰＵ１６の合焦領域設定部２６は、合焦マスクの選択がなされた（ステップＳ２１４＝ＹＥＳ）と判定した場合、その処理をステップＳ２１５に移行する。

そして、ステップＳ２１５において、ＭＰＵ１６の合焦領域設定部２６は、先のステップＳ２１５において選択されたマスクを合焦マスクとして設定した上で、その処理をステップＳ２１７に移行する。

また、ＭＰＵ１６の合焦領域設定部２６は、上下に並列したマスクの数Ｎが３つ未満である（ステップＳ２０７＝ＮＯ）と判定した場合、その処理をステップＳ２１６に移行する。

そして、ステップＳ２１６において、ＭＰＵ１６の合焦領域設定部２６は、スルー画に含まれるマスクの距離の大小関係に基づいて合焦マスクを設定する。具体的には、ＭＰＵ１６の合焦領域設定部２６は、一例として、スルー画に含まれるマスクのうち、距離が最も小さいマスク、即ち、スルー画の奥行方向において最も近接側に位置するマスクを合焦マスクとして設定する。

そして以後、ＭＰＵ１６は、ステップＳ２１７〜ステップＳ２２０において、第２の実施形態における図１０のステップＳ１１３〜ステップＳ１１６の各処理と同様の処理を経て、撮影画像を生成する。

上記第３の実施形態によれば、上記各実施形態の効果（１）、（４）〜（１０）に示す効果を得ることができる。
（第４の実施形態）
次に、第４の実施形態について説明する。なお、第４の実施形態は、マスクの距離の分布を比較要素の距離の分布に照合することなく合焦マスクを設定する点が第１の実施形態と異なる。したがって、以下の説明においては、第１の実施形態と相違する構成について主に説明し、第１の実施形態と同一又は相当する構成については同一符号を付して重複説明を省略する。

図１５に示すように、本実施形態のＭＰＵ１６が実行する合焦制御処理ルーチンにおいて、ステップＳ３００〜ステップＳ３０６の各処理は第１の実施形態における図２のステップＳ１０、ステップＳ１１、ステップＳ１３〜ステップＳ１７の各処理と同様である。

そして、ステップＳ３０７において、ＭＰＵ１６の合焦領域設定部２６は、先のステップＳ３０４において算出されたフォーカスマップが、他のマスクと比較して距離が大きく外れたマスクを含むか否かを判定する。この場合、一例として、ＭＰＵ１６の合焦領域設定部２６は、フォーカスマップを構成するマスクの中に、他の全てのマスクとの距離の差が閾値以上となるマスクが含まれるか否かを判定する。

なお、図１６及び図１７に示す例では、スルー画に含まれる８つのマスクａ４１〜ｈ４１のうち、７つのマスクａ４１〜ｇ４１の距離が「近接域」又は「至近域」に分類される一方で、他の一つのマスクｈ４１の距離が「遠景域」に分類されている。そして、「遠景域」に分類されたマスクｈ４１は、「近接域」又は「至近域」に分類された他のマスクａ４１〜ｇ４１と比較して距離が大きく外れたマスクとして判定される。

そして、ＭＰＵ１６の合焦領域設定部２６は、他のマスクと比較して距離が大きく外れたマスクを含む（ステップＳ３０７＝ＹＥＳ）と判定した場合、その処理をステップＳ３０８に移行する。

そして次に、ステップＳ３０８において、ＭＰＵ１６の合焦領域設定部２６は、先のステップＳ３０７において他のマスクと比較して距離が大きく外れていると判定されたマスクを合焦マスクとして設定する。なお、図１６及び図１７に示す例では、「遠景域」に分類されたマスクｈ４１が合焦マスクとして設定される。

一方、ＭＰＵ１６の合焦領域設定部２６は、他のマスクと比較して距離が大きく外れたマスクを含まない（ステップＳ３０７＝ＮＯ）と判定した場合、その処理をステップＳ３０９に移行する。

そして、ステップＳ３０９において、ＭＰＵ１６の合焦領域設定部２６は、スルー画に含まれるマスクの距離の大小関係に基づいて合焦マスクを設定する。具体的には、ＭＰＵ１６の合焦領域設定部２６は、一例として、スルー画に含まれるマスクのうち、距離が最も小さいマスク、即ち、スルー画の奥行方向において最も近接側に位置するマスクを合焦マスクとして設定する。

そして以後、ＭＰＵ１６は、ステップＳ３１０〜ステップＳ３１３において、第１の実施形態における図２のステップＳ２６〜ステップＳ２９の各処理と同様の処理を経て、撮影画像を生成する。

上記第４の実施形態によれば、上記第１の実施形態の効果（１）、（２）、（４）〜（９）に加え、以下に示す効果を得ることができる。
（１１）スルー画から抽出されたマスクのうち、他のマスクと比較して距離の大きさが外れたマスクが合焦マスクとして設定される。そのため、スルー画において人が注目することが想定される領域を、スルー画において合焦の対象となる領域として好適に設定することができる。

なお、上記各実施形態は、以下のような別の実施形態に変更してもよい。
・上記第１の実施形態において、ＭＰＵ１６の合焦領域設定部２６は、スルー画から算出したフォーカスマップを、不揮発性メモリ１８に格納された比較要素の距離の分布と比較することにより分布の近似度を算出し、算出した近似度が所定の閾値以上である場合に、フォーカスマップと比較要素の距離の分布とが照合されたと判定してもよい。

・上記第２の実施形態において、ＭＰＵ１６の合焦領域設定部２６は、以下のようにしてマスクａ２１〜ｆ２１の配置パターンが「パースペクティブパターン」であるか否かを判定してもよい。

すなわち、第１の変更例として、ＭＰＵ１６の合焦領域設定部２６は、スルー画に含まれるマスクａ２１〜ｆ２１のうち、スルー画の画角の中心点からのずれ量が隣り合うマスク同士の距離の差分を算出し、算出された差分の正負が一定であるか否かを判定してもよい。

また、第２の変更例として、ＭＰＵ１６の合焦領域設定部２６は、スルー画から算出したフォーカスマップを、不揮発性メモリ１８に格納された比較要素の距離及び配置の組み合わせの分布と比較することにより分布の近似度を算出し、算出された近似度が所定の閾値以上であるか否かを判定してもよい。

・上記第２の実施形態において、ＭＰＵ１６の位置取得部２５は、スルー画に含まれるマスクａ２１〜ｆ２１の重心位置Ｇａ〜Ｇｆとスルー画における任意の位置に設定される点とのずれ量をマスクａ２１〜ｆ２１の配置としてそれぞれ取得してもよい。

・上記第３の実施形態において、ＭＰＵ１６の合焦領域設定部２６は、左右方向におけるマスク同士の重心位置のずれ量が閾値未満であって、且つ、上下方向におけるマスク同士の重心位置のずれ量が閾値未満である場合、判定対象のマスクが上下に並列していると判定してもよい。

・上記第３の実施形態において、ＭＰＵ１６は、上下に並列したマスクのうち、一部のマスクについては、上下に隣り合うマスクのうち下方のマスクの距離が上方のマスクの距離よりも大きいという条件を満たしている場合、台座の上に載置された物体の可能性があるマスクの候補にそれぞれ合焦させた複数の撮影画像を生成してもよい。

・上記第３の実施形態において、ＭＰＵ１６の合焦領域設定部２６は、以下のようにしてマスクの配置パターンが台座の上に物体が載置された配置パターンであるか否かを判定してもよい。すなわち、ＭＰＵ１６の合焦領域設定部２６は、スルー画から算出したフォーカスマップを、不揮発性メモリ１８に格納された比較要素の距離及び配置の組み合わせの分布と比較することにより分布の近似度を算出し、算出された近似度が所定の閾値以上であるか否かを判定してもよい。

・上記各実施形態において、ＭＰＵ１６の位置取得部２５は、例えば、位相差検出方式、コントラスト検出方式及びＴＯＦ（Time Of Flight）方式等の検出方式を用いてマスクの距離を取得してもよい。

この構成では、検出方式として位相差検出方式を用いた場合には、マスクの距離を迅速に取得することができる。
また、検出方式としてコントラスト検出方式を用いた場合には、スルー画における任意の位置にマスクが位置する場合であっても、マスクの距離を取得することができる。

・上記各実施形態において、ＭＰＵ１６の位置取得部２５は、以下のようにしてマスクの距離を取得してもよい。すなわち、ＭＰＵ１６の位置取得部２５は、まず、領域のボケ具合と該領域の距離とを対応付けて記憶したデフォーカスデータベースを予め不揮発性メモリ１８に格納させる。そして、ＭＰＵ１６の位置取得部２５は、スルー画におけるマスクのボケ具合を、デフォーカスデータベースに記憶された領域のボケ具合と照合することにより、マスクの距離を取得する。

この構成では、スルー画の焦点調節のためにフォーカスレンズ１１を動かすことなく、マスクの距離を取得することができる。
・上記各実施形態において、スルー画から算出されるフォーカスマップは、マスクごとの距離が、数値データではなく、複数の距離範囲のうち何れの距離範囲に含まれるかを示す区分データで構成されてもよい。

この構成によれば、フォーカスマップがマスクごとの距離の数値データによって構成される場合と比較して、フォーカスマップのデータ量を低減することができる。
・上記各実施形態において、ＭＰＵ１６は、動画の撮影時において、各実施形態における合焦制御処理ルーチンと同様の処理を実行することにより、動画の合焦状態を制御してもよい。

・上記各実施形態において、画像の撮影機能を搭載したカメラ１０以外の電子機器に対し、画像における合焦領域を設定する画像処理装置として画像処理エンジン１４が搭載されてもよい。なお、画像の撮影機能を搭載した電子機器としては、例えば、ビデオカメラ、パーソナルコンピュータ、携帯電話機、携帯ゲーム機等が挙げられる。

１０…電子カメラの一例としてのデジタルカメラ、１３…撮像素子、１４…画像処理装置の一例としての画像処理エンジン、２４…領域抽出部、２５…位置取得部、２６…合焦領域設定部、２７…モード設定部、３０…データベース、ａ１〜ｃ１，ａ２〜ｃ２，ａ３〜ｃ３，ａ４〜ｃ４，ａ２１〜ｆ２１，ａ３１〜ｃ３１，ａ３２〜ｃ３２，ａ４１〜ｈ４１…特定領域の一例としてのマスク、ｒａ１〜ｒｃ１，ｒａ２〜ｒｃ２，ｒａ３〜ｒｃ３…比較要素。

Claims (19)

1. 外部から取得した画像から複数の特定領域を抽出する領域抽出部と、
   前記領域抽出部が抽出した前記特定領域の距離の分布を取得する位置取得部と、
   前記位置取得部が取得した前記特定領域の距離の分布に基づく距離の差が所定の閾値以上の前記特定領域の中から合焦の対象となる合焦領域を設定する合焦領域設定部と
   を備えた画像処理装置。
2. 外部から取得した画像から複数の特定領域を抽出する領域抽出部と、
   前記領域抽出部が抽出した前記特定領域の距離の分布を取得する位置取得部と、
   前記位置取得部によって取得された前記特定領域の距離の分布が、一部の特定領域が他の特定領域と比較して距離が大きく外れた分布である場合、該一部の特定領域の中から合焦の対象となる合焦領域を設定する合焦領域設定部と
   を備えた画像処理装置。
3. 前記位置取得部は、前記特定領域の距離の分布を、該分布を構成する前記特定領域の前記画像内での配置と組み合わせて取得し、
   前記合焦領域設定部は、前記位置取得部が前記特定領域の前記画像内での配置と組み合わせて取得した前記特定領域の距離の分布に基づいて前記合焦領域を設定する
   請求項１又は請求項２に記載の画像処理装置。
4. データベースには、前記位置取得部が取得した前記特定領域の距離の分布との比較対象となる比較要素の距離の分布と、前記合焦領域設定部が前記合焦領域を設定する際の基準として前記分布を構成する前記比較要素の中から設定される基準合焦要素とが関連付けられて記憶されており、
   前記合焦領域設定部は、前記位置取得部によって取得された前記特定領域の距離の分布を前記データベースに記憶された前記比較要素の距離の分布に対して照合することにより、前記データベースにおいて照合された分布に関連付けられた前記基準合焦要素に基づいて前記合焦領域を設定する
   請求項１〜請求項３のうちいずれか一項に記載の画像処理装置。
5. 前記データベースには、前記比較要素の距離の分布に対して前記比較要素の配置が組み合わされて記憶されており、
   前記合焦領域設定部は、前記位置取得部によって取得された前記特定領域の距離の分布を前記特定領域の前記画像内での配置と組み合わせて前記データベースに記憶された前記比較要素の距離及び配置の組み合わせの分布に対して照合することにより、前記データベースにおいて照合された分布に関連付けられた前記基準合焦要素に基づいて前記合焦領域を設定する
   請求項４に記載の画像処理装置。
6. 前記特定領域の距離の分布には、前記特定領域ごとの距離が前記画像の奥行方向において分割された複数の距離範囲に分類された態様で含まれる
   請求項１〜請求項５のうち何れか一項に記載の画像処理装置。
7. 前記位置取得部は、前記領域抽出部が抽出した前記特定領域のエッジの色成分量に基づいて前記特定領域の距離を前記特定領域ごとに検出することにより、前記特定領域の距離の分布を取得する
   請求項１〜請求項６のうち何れか一項に記載の画像処理装置。
8. 前記位置取得部は、前記領域抽出部が抽出した前記特定領域の距離を位相差検出方式によって前記特定領域ごとに検出することにより、前記特定領域の距離の分布を取得する
   請求項１〜請求項６のうち何れか一項に記載の画像処理装置。
9. 前記位置取得部は、前記領域抽出部が抽出した前記特定領域の距離をコントラスト検出方式によって前記特定領域ごとに検出することにより、前記特定領域の距離の分布を取得する
   請求項１〜請求項６のうち何れか一項に記載の画像処理装置。
10. 前記位置取得部は、領域のボケ具合と距離とを対応付けて記憶したデフォーカスデータベースに対して前記領域抽出部が抽出した前記特定領域のボケ具合を照合することにより、前記領域抽出部が抽出した前記特定領域の距離を前記特定領域ごとに検出して前記特定領域の距離の分布を取得する
    請求項１〜請求項６のうち何れか一項に記載の画像処理装置。
11. 前記領域抽出部は、前記画像から抽出した前記特定領域のうち前記画像内での配置が互いに隣り合う前記特定領域同士の距離の差分が閾値未満である場合、該特定領域を統合する
    請求項１〜請求項１０のうち何れか一項に記載の画像処理装置。
12. 前記画像はスルー画又は動画であって、
    前記領域抽出部は、前記画像から抽出した前記特定領域のうち前記画像内での動きベクトルの差分が閾値未満である前記特定領域同士の距離の差分が閾値未満である場合、該特定領域を統合する
    請求項１〜請求項１１のうち何れか一項に記載の画像処理装置。
13. 前記領域抽出部は、前記画像から抽出した前記特定領域が互いに距離の異なる複数の小領域を含む場合、該特定領域を複数の小領域に分割する
    請求項１〜請求項１２のうち何れか一項に記載の画像処理装置。
14. 前記位置取得部が取得した前記特定領域の距離の分布に基づいて、前記画像の撮影モードを設定するモード設定部を更に備えた
    請求項１〜請求項１３のうち何れか一項に記載の画像処理装置。
15. 前記モード設定部は、前記位置取得部が取得した前記特定領域の距離の分布が前記画像の奥行方向における近接側に偏っている場合には、前記画像の撮影モードをマクロモードに設定する
    請求項１４に記載の画像処理装置。
16. 前記モード設定部は、前記位置取得部が取得した前記特定領域の距離の分布が前記画像の奥行方向における無限遠側に偏っている場合には、前記画像の撮影モードを風景モードに設定する
    請求項１４に記載の画像処理装置。
17. 被写体を撮像する撮像素子と、
    前記撮像素子が撮像した被写体に応じた画像を取得する請求項１〜請求項１６のうち何れか一項に記載の画像処理装置と
    を備えた電子カメラ。
18. コンピュータに、
    外部から取得した画像から複数の特定領域を抽出する領域抽出ステップと、
    前記領域抽出ステップにおいて抽出した前記特定領域の距離の分布を取得する位置取得ステップと、
    前記位置取得ステップにおいて取得した前記特定領域の距離の分布に基づく距離の差が所定の閾値以上の前記特定領域の中から合焦の対象となる合焦領域を設定する合焦領域設定ステップと
    を実行させる画像処理プログラム。
19. コンピュータに、
    外部から取得した画像から複数の特定領域を抽出する領域抽出ステップと、
    前記領域抽出ステップにおいて抽出した前記特定領域の距離の分布を取得する位置取得ステップと、
    前記位置取得ステップにおいて取得した前記特定領域の距離の分布が、一部の特定領域が他の特定領域と比較して距離が大きく外れた分布である場合、該一部の特定領域の中から合焦の対象となる合焦領域を設定する合焦領域設定ステップと
    を実行させる画像処理プログラム。

Images