JP5786460B2 - 領域抽出装置、撮像装置、及び領域抽出プログラム - Google Patents

Description

本発明は、画像から領域を抽出する領域抽出装置、撮像装置、及び領域抽出プログラムに関する。

画像の特徴量のヒストグラムに基づいて、撮像された画像から領域を抽出し、抽出した領域を識別する画像処理装置が開示されている（特許文献１参照）。

特開平４−１００７９号公報

しかしながら、特許文献１に開示された画像処理装置は、人が注目する領域、すなわち、主要被写体の領域を画像から抽出することができなかった。

本発明は、前記の点に鑑みてなされたものであり、主要被写体の領域を画像から抽出することができる領域抽出装置、撮像装置、及び領域抽出プログラムを提供することを目的とする。

本発明は、上記の課題を解決するためになされたものであり、画像から複数の被写体領域を抽出する第１領域抽出部と、前記第１領域抽出部により抽出された複数の前記被写体領域のうち、被写体領域の少なくとも一部の領域が前記画像の画角中心を含む第１領域に含まれる前記被写体領域を抽出する第２領域抽出部と、前記第２領域抽出部により抽出された前記被写体領域において前記第１領域に含まれる領域の面積と、前記第１領域の面積又は前記第２領域抽出部により抽出された前記被写体領域の面積と、の比により特定の被写体領域が存在するかを判定する判定部と、を備える領域抽出装置である。
また、本発明は、画像から複数の被写体領域を抽出する領域抽出部と、前記領域抽出部により抽出された複数の前記被写体領域のうち、被写体領域の少なくとも一部の領域が前記画像の画角中心を含む第１領域に含まれる前記被写体領域の前記第１領域に含まれる領域の面積と、前記第１領域の面積又は前記領域抽出部により抽出された複数の前記被写体領域のうち、被写体領域の少なくとも一部の領域が前記画像の画角中心を含む第１領域に含まれる前記被写体領域の面積と、の比により特定の被写体領域が存在するかを判定する判定部と、を備える領域抽出装置である。

また、本発明は、レンズにより結像された被写体像を撮像して画像データを生成する撮像部と、前記画像データによる画像から複数の被写体領域を抽出する第１領域抽出部と、前記第１領域抽出部により抽出された複数の前記被写体領域のうち、被写体領域の少なくとも一部の領域が前記画像の画角中心を含む第１領域に含まれる前記被写体領域を抽出する第２領域抽出部と、前記第２領域抽出部により抽出された前記被写体領域において前記第１領域に含まれる領域の面積と、前記第１領域の面積又は前記第２領域抽出部により抽出された前記被写体領域の面積と、の比により特定の被写体領域が存在するかを判定する判定部と、前記判定部の判定結果により前記特定の被写体領域が存在する場合、前記特定の被写体領域を示す被写体に合焦するように前記レンズを駆動させる駆動部と、を備える撮像装置である。
また、本発明は、レンズにより結像された被写体像を撮像して画像データを生成する撮像部と、前記画像データによる画像から複数の被写体領域を抽出する領域抽出部と、前記領域抽出部により抽出された複数の前記被写体領域のうち、被写体領域の少なくとも一部の領域が前記画像の画角中心を含む第１領域に含まれる前記被写体領域の前記第１領域に含まれる領域の面積と、前記第１領域の面積又は前記領域抽出部により抽出された複数の前記被写体領域のうち、被写体領域の少なくとも一部の領域が前記画像の画角中心を含む第１領域に含まれる前記被写体領域の面積と、の比により特定の被写体領域が存在するかを判定する判定部と、前記判定部の判定結果により前記特定の被写体領域が存在する場合、前記特定の被写体領域を示す被写体に合焦するように前記レンズを駆動させる駆動部と、を備える撮像装置である。

また、本発明は、コンピュータに、画像から複数の被写体領域を抽出する第１領域抽出手順と、前記第１領域抽出手順により抽出された複数の前記被写体領域のうち、被写体領域の少なくとも一部の領域が前記画像の画角中心を含む第１領域に含まれる前記被写体領域を抽出する第２領域抽出手順と、前記第２領域抽出手順により抽出された前記被写体領域において前記第１領域に含まれる領域の面積と、前記第１領域の面積又は前記第２領域抽出手順により抽出された前記被写体領域の面積と、の比により特定の被写体領域が存在するかを判定する判定手順と、を実行させるための領域抽出プログラムである。
また、本発明は、コンピュータに、画像から複数の被写体領域を抽出する領域抽出手順と、前記領域抽出手順により抽出された複数の前記被写体領域のうち、被写体領域の少なくとも一部の領域が前記画像の画角中心を含む第１領域に含まれる前記被写体領域の前記第１領域に含まれる領域の面積と、前記第１領域の面積又は前記領域抽出手順により抽出された複数の前記被写体領域のうち、被写体領域の少なくとも一部の領域が前記画像の画角中心を含む第１領域に含まれる前記被写体領域の面積と、の比により特定の被写体領域が存在するかを判定する判定手順と、を実行させるための領域抽出プログラムである。

本発明によれば、領域抽出装置は、主要被写体の領域を画像から抽出することができる。

本発明の一実施形態における、レンズ鏡筒と、領域抽出装置を備える撮像装置と、記憶媒体との構成を表すブロック図である。 本発明の一実施形態における、画像に予め定められた各領域を表す図である。 本発明の一実施形態における、画像に予め定められた各領域と、被写体領域との位置関係の第１例を表す図である。 本発明の一実施形態における、画像に予め定められた領域に含まれている被写体領域が画像に在るか否かを判定する方法を説明するための図である。 本発明の一実施形態における、画像に予め定められた各領域と、被写体領域との位置関係の第２例を表す図である。 本発明の一実施形態における、被写体領域が登録される処理の手順を表すフローチャートである。 本発明の一実施形態における、被写体領域に合焦させるまでの処理の手順を表すフローチャートである。

本発明の一実施形態について図面を参照して詳細に説明する。図１には、レンズ鏡筒と、領域抽出装置を備える撮像装置と、記憶媒体との構成が、ブロック図により表されている。撮像装置１００は、レンズ鏡筒１１１から入射される光学像を撮像し、静止画形式又は動画形式の画像を、記憶媒体２００に記憶させる。

まず、レンズ鏡筒１１１の構成を説明する。
レンズ鏡筒１１１は、焦点調整レンズ（以下、「ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）レンズ」という）１１２と、レンズ駆動部１１６と、ＡＦエンコーダ１１７と、鏡筒制御部１１８を備える。なお、レンズ鏡筒１１１は、撮像装置１００に着脱可能に接続されてもよいし、撮像装置１００と一体であってもよい。

ＡＦレンズ１１２は、レンズ駆動部１１６により駆動され、後述する撮像部１１０の撮像素子１１９の受光面（光電変換面）に、光学像を導く。

ＡＦエンコーダ１１７は、ＡＦレンズ１１２の移動を検出し、ＡＦレンズ１１２の移動量に応じた信号を、鏡筒制御部１１８に出力する。ここで、ＡＦレンズ１１２の移動量に応じた信号とは、例えば、ＡＦレンズ１１２の移動量に応じて位相が変化するサイン（ｓｉｎ）波信号であってもよい。

鏡筒制御部１１８は、撮像装置１００のＣＰＵ１９０から入力される駆動制御信号に応じて、レンズ駆動部１１６を制御する。ここで、駆動制御信号とは、ＡＦレンズ１１２を光軸方向に駆動させる制御信号である。鏡筒制御部１１８は、駆動制御信号に応じて、例えば、レンズ駆動部１１６に出力するパルス電圧のステップ数を変更する。

また、鏡筒制御部１１８は、ＡＦレンズ１１２の移動量に応じた信号に基づいて、レンズ鏡筒１１１におけるＡＦレンズ１１２の位置（フォーカスポジション）を、ＣＰＵ１９０に出力する。ここで、鏡筒制御部１１８は、例えば、ＡＦレンズ１１２の移動量に応じた信号を、ＡＦレンズ１１２の移動方向に応じて積算することで、レンズ鏡筒１１１におけるＡＦレンズ１１２の移動量（位置）を算出してもよい。

レンズ駆動部１１６は、鏡筒制御部１１８の制御に応じてＡＦレンズ１１２を駆動し、ＡＦレンズ１１２をレンズ鏡筒１１１内で光軸方向に移動させる。

次に、撮像装置１００の構成を説明する。
撮像装置１００は、撮像部１１０と、領域抽出装置１４０と、表示部１５０と、バッファメモリ部１３０と、操作部１８０と、記憶部１６０と、ＣＰＵ１９０と、通信部１７０とを備える。

撮像部１１０は、撮像素子１１９と、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換部１２０とを備える。撮像部１１０は、設定された撮像条件（例えば絞り値、露出値等）に従って、ＣＰＵ１９０により制御される。

撮像素子１１９は、光電変換面を備え、レンズ鏡筒１１１（光学系）により光電変換面に結像された光学像を電気信号に変換して、Ａ／Ｄ変換部１２０に出力する。撮像素子１１９は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）で構成されていてもよい。また、撮像素子１１９は、光電変換面の一部の領域について、光学像を電気信号に変換するようにしてもよい（画像切り出し）。

また、撮像素子１１９は、操作部１８０を介してユーザからの撮影指示を受け付けた際に得られる画像を、Ａ／Ｄ変換部１２０を介して記憶媒体２００に記憶させる。一方、撮像素子１１９は、操作部１８０を介してユーザからの撮影指示を受け付けていない状態において、連続的に得られる画像をスルー画像として、バッファメモリ部１３０及び表示部１５０に、Ａ／Ｄ変換部１２０を介して出力する。

Ａ／Ｄ変換部１２０は、撮像素子１１９によって変換された電気信号をデジタル化して、デジタル信号である画像をバッファメモリ部１３０に出力する。

操作部１８０は、例えば、電源スイッチ、シャッタボタン、マルチセレクタ（十字キー）、又はその他の操作キーを備え、ユーザによって操作されることでユーザの操作入力を受け付け、受け付けた操作入力に応じた信号をＣＰＵ１９０に出力する。

領域抽出装置１４０は、記憶部１６０に記憶されている画像処理条件に基づいて、バッファメモリ部１３０に一時的に記憶されている画像を画像処理する。画像処理された画像は、通信部１７０を介して記憶媒体２００に記憶される。また、領域抽出装置１４０は、バッファメモリ部１３０に一時的に記憶されている画像から、画像の特徴量により定まる被写体領域を抽出する。

また、領域抽出装置１４０は、抽出した被写体領域を示す情報を、記憶部１６０などに記憶させる。ここで、被写体領域を示す情報とは、例えば、領域の分布を表す情報、及び領域の特徴量を表す情報などである。また、領域抽出装置１４０は、バッファメモリ部１３０に一時的に記憶されている画像から抽出した被写体領域に、被写体領域に合焦させるための優先度を設定する。

表示部１５０は、撮像部１１０によって得られた画像、及び操作画面等を表示する。表示部１５０は、例えば、液晶ディスプレイである。

バッファメモリ部１３０は、撮像部１１０によって撮像された画像を、一時的に記憶する。

記憶部１６０は、シーン判定の際にＣＰＵ１９０によって参照される判定条件と、シーン判定によって判断されたシーン毎に対応付けられた撮像条件と、被写体領域を示す情報等とを記憶する。

ＣＰＵ１９０は、設定された撮像条件（例えば、絞り値、露出値）に従って、撮像部１１０を制御する。また、ＣＰＵ１９０は、被写体領域を示す情報を、領域抽出装置１４０から取得する。また、ＣＰＵ１９０（焦点調節部）は、被写体領域を示す情報に基づいてレンズ鏡筒１１１の鏡筒制御部１１８に駆動制御信号を出力することで、画像から抽出された領域のうち、領域抽出装置１４０が設定した優先度が高い領域に合焦させるよう焦点を調節する。

また、ＣＰＵ１９０は、被写体領域を示す情報に基づいて、画像処理のプレ処理又はポスト処理として、焦点調整（ＡＦ）の設定、露出調整（ＡＥ）の設定、ホワイトバランス調整（ＡＷＢ）の設定、被写体像（オブジェクト）の追尾の設定、夜景か否かの判定の設定、色補正処理の設定、被写体像の拡大表示の設定、パンニング表示の設定、ズーム倍率に連動した明るさの最適化の設定、などを制御する。また、ＣＰＵ１９０は、被写体領域を示す情報に基づいて、トーンカーブ（階調カーブ）の設定、静止画及び動画の同時撮影を実行するか否かの設定などを制御する。

また、ＣＰＵ１９０は、被写体領域を示す情報に基づいて、プレ処理又はポスト処理として、連写するか否かの設定、及び、連写において、合焦させる被写体像の切り替えの設定、焦点距離の連続変更の設定、撮像装置１００の発光部（不図示）が発光する閃光の発光量の変更の設定、露光量の変更の設定、又はシャッタスピードの変更を実行するか否かの設定などを制御する。また、ＣＰＵ１９０は、操作部１８０から入力された「操作入力に応じた信号」に基づいて、静止画形式又は動画形式の画像を、領域抽出装置１４０に画像処理させる。

通信部１７０は、カードメモリ等の取り外しが可能な記憶媒体２００と接続され、この記憶媒体２００への情報（画像データ、被写体領域を示す情報など）の書込み、読み出し、あるいは消去を行う。

記憶媒体２００は、撮像装置１００に対して着脱可能に接続される記憶部であって、情報（画像データ、被写体領域を示す情報など）を記憶する。なお、記憶媒体２００は、撮像装置１００と一体であってもよい。

次に、領域抽出装置１４０の詳細について説明する。
領域抽出装置１４０は、特徴量算出部１４１と、領域抽出部１４２と、領域処理部１４３と、優先度設定部１４４とを備える。

特徴量算出部１４１は、撮像部１１０が撮像した画像を、バッファメモリ部１３０から取得する。また、特徴量算出部１４１は、バッファメモリ部１３０から取得した画像における複数の特徴（例えば、色相、彩度、明度、テクスチャ、エッジ）毎に、その特徴量（例えば、輝度情報に基づく特徴量、色情報に基づく特徴量）を算出し、算出した特徴量を領域抽出部１４２に出力する。

領域抽出部１４２は、特徴量算出部１４１が算出した特徴量を取得する。また、領域抽出部１４２は、撮像部１１０が撮像した画像を、バッファメモリ部１３０から取得する。また、領域抽出部１４２は、取得した画像に含まれる領域であって特徴量毎に定まる被写体領域を、画角中心を含む領域（図２を用いて後述する）が定められた画像から抽出する。ここで、領域抽出部１４２が抽出する被写体領域は、例えば、撮像部１１０が撮像した画像に含まれる被写体像の領域である。また、画角中心を含む領域は、画像に複数定められてもよい。

領域抽出部１４２は、取得した特徴量（例えば、輝度（Ｙ）、色情報（Ｃｒ，Ｃｂ、ＲＧＢ））に基づいて、各被写体領域を画像から抽出する。例えば、領域抽出部１４２は、一定領域内の画像特徴量と、その領域外の画像特徴量とに２値化された画像から、各被写体領域を抽出する。また、領域抽出部１４２は、各被写体領域にラベルを割り当てる（ラベリング）。

また、領域抽出部１４２は、第１の画像特徴量に基づく被写体領域に外接する第１矩形領域と、第２の画像特徴量に基づく被写体領域に外接する矩形領域とを画像に生成する。以下では、第１の画像特徴量は、色情報に応じた特徴量であるとする。また、色差に基づく被写体領域に外接する矩形領域を、以下、「色差矩形領域」という。また、第２の画像特徴量は、輝度に応じた特徴量であるとする。また、輝度に基づく被写体領域に外接する矩形領域を、以下、「輝度矩形領域」という。

領域処理部１４３は、予め定められた条件を被写体領域が満たすか否かを判定する。例えば、領域処理部１４３は、ノイズと推定される領域（例えば、所定閾値よりも面積が小さい領域）が画像にある場合、それらの領域を画像から除去（足きり）する。また、例えば、領域処理部１４３は、背景と推定される領域（例えば、所定閾値よりも面積が大きい領域）が画像にある場合、その領域を画像から除去する。領域処理部１４３は、除去されずに残っている被写体領域の分布を表す情報を、記憶部１６０に記憶させる。

領域処理部１４３は、輝度に基づいて画像から抽出した被写体領域の面積を分子とし、この被写体領域に外接する輝度矩形領域の面積を分母とする面積比（充填率）を、輝度矩形領域毎に算出する。また、領域処理部１４３は、面積比が予め定められた閾値未満である被写体領域及び輝度矩形領域を、分割又は統合する対象から除外する。同様に、領域処理部１４３は、色差に基づいて画像から抽出した被写体領域の面積を分子とし、この被写体領域に外接する色差矩形領域の面積を分母とする面積比（充填率）を、色差矩形領域毎に算出する。また、領域処理部１４３は、面積比が予め定められた閾値未満である被写体領域及び色差矩形領域を、分割又は統合する対象から除外する。

領域処理部１４３は、各色差矩形領域の各隅の座標に基づいて、色差に基づく各被写体領域を統合する。また、領域処理部１４３は、各輝度矩形領域の各隅の座標に基づいて、輝度に基づく各被写体領域を統合する。

領域処理部１４３は、各色差矩形領域の各隅の座標と、各輝度矩形領域の各隅の座標とに基づいて、輝度に基づく各被写体領域を、色差に基づく各被写体領域に統合する。例えば、領域処理部１４３は、各色差矩形領域の各隅の座標と、各輝度矩形領域の各隅の座標との差が、Ｎ（Ｎは、１以上の整数）画素以内である場合、輝度に基づく各被写体領域を、色差に基づく各被写体領域に統合する。

領域処理部１４３は、輝度矩形領域に色差矩形領域が包含されており、且つ、輝度矩形領域及び色差矩形領域の隅同士の座標差が、予め定められた画素数Ｌ以上である場合、輝度に基づく被写体領域と色差に基づく被写体領域とが重複する部分を、輝度に基づく被写体領域から分割する。

領域処理部１４３（判定部）は、画角中心を含む第１領域と被写体領域とが重なる部分の面積と、第１領域又はこの被写体領域の面積との比が予め定められた面積比以上となる被写体領域が、画像に在るか否かを判定する。

図２には、画像に予め定められた各領域が表されている。図２（Ａ）では、一例として、画角中心を含む領域３１０と、領域３１０を含む領域３２０ａと、領域３２０ａを含む領域３３０と、領域３３０を含む領域３４０とが、画像３００に定められている。ここで、画像３００の横の長さをＸとし、画像３００の縦の長さをＹとした場合、領域３１０の横の長さは（Ｘ／３）であり、領域３１０の縦の長さを（Ｙ／３）であるとする。また、領域３２０ａの横の長さは（Ｘ／２）であり、領域３２０ａの縦の長さは（Ｙ／２）であるとする。なお、これらの長さは、一例である。

領域３２０ａは、さらに複数の領域に分割されていてもよい。図２（Ｂ）には、一例として、領域３２０ａが９分割された領域３２０ｂが表されている。以下、領域３２０ａ及び領域３２０ｂのいずれも領域３２０と表記する。

図３には、画像に予め定められた各領域と、被写体領域との位置関係の第１例が表されている。以下では、被写体領域４００〜４１０が、領域抽出部１４２により画像３００から抽出されたとする。また、被写体領域４００は、領域３１０に完全に含まれているとする。また、被写体領域４１０は、その一部が領域３１０に含まれているとする。また、被写体領域４４０は、その一部が領域３２０に含まれているとする。

図４には、画像に予め定められた領域に含まれている被写体領域が画像に在るか否かを判定する方法を説明するための図が表されている。図４（Ａ）では、領域３１０と被写体領域４１０ａとの重なる部分の面積と、被写体領域４１０ａの面積との比が予め定められた面積比（例えば、５０［％］）以上となる被写体領域４１０ａが、画像３００に在るとする。この場合、被写体領域４１０ａは、画像３００内に在る主要被写体領域であると、領域処理部１４３により判定される。

一方、図４（Ｂ）では、領域３１０と被写体領域４１０ｂとの重なる部分の面積と、領域３１０の面積との比が予め定められた面積比（例えば、５０［％］）以上となる被写体領域４１０ｂが、画像３００に在るとする。この場合、被写体領域４１０ｂは、画像３００内に在る主要被写体領域であると、領域処理部１４３により判定される。

また、領域処理部１４３は、画像に定められた第１領域と被写体領域とが重なる部分の面積と、第１領域又はこの被写体領域の面積との比が予め定められた面積比以上となる被写体領域が、画像に無い場合、第１領域を含む第２領域と被写体領域とが重なる部分の面積と、第２領域又はこの被写体領域の面積との比が予め定められた面積比以上となる被写体領域が、画像に在るか否かを判定する。

図５には、画像に予め定められた各領域と、被写体領域との位置関係の第２例が表されている。図５では、領域３１０内に被写体領域が無く、且つ、領域３２０と被写体領域４４０との重なる部分の面積と、被写体領域４４０の面積との比が予め定められた面積比（例えば、５０［％］）以上となる被写体領域４４０が、画像３００に在るとする。この場合、被写体領域４４０は、画像３００内に在る主要被写体領域であると、領域処理部１４３により判定される。被写体領域４３０についても同様である。

図１に戻り、領域抽出装置１４０の詳細について説明を続ける。優先度設定部１４４は、予め定められた条件（例えば、ノイズと推定される領域でない条件）を満たす被写体領域に、画像における「領域の優先度」を定める。この「領域の優先度」とは、人がより注目しているであろう領域の優先度である。優先度設定部１４４は、設定した「領域の優先度」を、被写体領域を示す情報の１つとして、記憶部１６０及び記憶媒体２００に、領域毎に記憶させる。

また、優先度設定部１４４は、領域３１０（図２を参照）と被写体領域とが重なる部分の面積と、領域３１０又はこの被写体領域の面積との比が予め定められた面積比以上となる被写体領域が、画像３００に在る場合、予め定められた面積比以上となる被写体領域を示す情報を、優先度が高い領域（主要被写体領域）を示す情報として、記憶部１６０及び記憶媒体２００に記憶させる（登録する）。

また、優先度設定部１４４は、領域３１０と被写体領域とが重なる部分の面積と、領域３１０又はこの被写体領域の面積との比が予め定められた面積比以上となる被写体領域が、画像３００に無い場合、領域処理部１４３による判定結果に基づいて、次のように動作する。

優先度設定部１４４は、領域３１０を含む領域３２０（図２を参照）と被写体領域とが重なる部分の面積と、領域３２０又はこの被写体領域の面積との比が予め定められた面積比以上となる被写体領域が、画像３００に在る場合、予め定められた面積比以上となる面積が領域３２０に含まれている被写体領域を示す情報を、優先度が高い領域（主要被写体領域）を示す情報として、記憶部１６０及び記憶媒体２００に記憶させる（登録する）。
また、優先度設定部１４４は、領域３３０及び領域３４０についても、同様に処理を実行する。

また、領域の優先度は、次のように定められてもよい。以下では、優先度を示す数字が小さいほど、領域の優先度が高いものとする。また、以下に示す優先度は、一例である。

優先度１．
動いている領域（動いている領域が画像に複数ある場合、画角からはみ出していない領域、又は画角の中央に分布する領域）。また、パンニングしたことにより、動いている領域が画像に広く分布している場合は、動いていない領域。
これらの領域は、優先度「１」に設定される。
人は、動いている領域及びパンニングした際に変化量の少ない領域に注目するためである。

優先度２．
画角（構図）、奥行（パースペクト）、被写体距離（デプス、深度）に関する領域。画角の中央付近に分布する領域。画像に奥行がある場合、至近側に分布する領域のうち、画角からはみ出していない領域であって、面積が所定の領域内である（極端に大きくない）領域。
これらの領域は、優先度「２」に設定される。
主要な被写体像の領域が、至近から無限までの広い領域に存在する可能性があるためである。

優先度３．
人の顔検出、動物（ペット）の顔検出、顔が検出された領域における肌色検出、動物の毛並みのテクスチャ（模様）、又は植物のテクスチャに基づいて抽出された領域。
これらの領域は、優先度「３」に設定される。
人または動物が撮像されている場合、人は、その顔に注目するためである。

優先度４．
特異である特徴量（例えば、色相環において不連続である色相）がある領域。背景の領域とそれ以外の領域とに分割された領域。彩度が高い領域。周囲と比較して明度が著しく異なる領域。周囲と比較して色相（色合い）が著しく異なる領域。テクスチャ（模様）が周囲と異なる領域。周囲と比較して空間周波数（画像周波数）が高い領域。ある特徴量において不連続な分布が一定量あり、その特徴量に基づいてラベリングされた結果、領域が形成された場合に、画像において違和感がある領域。
これらの領域は、優先度「４」に設定される。

優先度５．
特定の色相又は彩度に基づいて抽出された領域。
これらの領域は、優先度「５」に設定される。
人は、赤色、黄色、肌色の領域に注目するためである。

優先度６．
明度（明暗）に基づいて抽出された領域。
これらの領域は、優先度「６」に設定される。

優先度７．
テクスチャ（模様）に基づいて抽出された領域。
これらの領域は、優先度「７」に設定される。

優先度８．
空間周波数（画像周波数）に基づいて抽出された領域。
これらの領域は、優先度「８」に設定される。

優先度９．
縦又は横に延びたエッジで囲まれた領域であって、一定以上の太さがある領域。
これらの領域は、優先度「９」に設定される。

次に、領域抽出装置の処理の手順を説明する。
図６は、被写体領域が登録される処理の手順を表すフローチャートである。領域処理部１４３は、領域３１０（図３を参照）と被写体領域とが重なる部分の面積と、領域３１０又は被写体領域の面積との比が予め定められた面積比以上となる被写体領域が、画像に在るか否かを判定する（ステップＳ１）。

領域３１０と被写体領域とが重なる部分の面積と、領域３１０又は被写体領域の面積との比が予め定められた面積比以上となる被写体領域が、画像に無い場合（ステップＳ１−Ｎｏ）、領域処理部１４３は、領域３２０と被写体領域とが重なる部分の面積と、領域３２０又は被写体領域の面積との比が予め定められた面積比以上となる被写体領域が、画像に在るか否かを判定する（ステップＳ２）。

領域３２０と被写体領域とが重なる部分の面積と、領域３２０又は被写体領域の面積との比が予め定められた面積比以上となる被写体領域が、画像に無い場合（ステップＳ２−Ｎｏ）、領域処理部１４３は、領域３３０と被写体領域とが重なる部分の面積と、領域３３０又は被写体領域の面積との比が予め定められた面積比以上となる被写体領域が、画像に在るか否かを判定する（ステップＳ３）。

領域３３０と被写体領域とが重なる部分の面積と、領域３３０又は被写体領域の面積との比が予め定められた面積比以上となる被写体領域が、画像に無い場合（ステップＳ３−Ｎｏ）、領域処理部１４３は、領域３４０と被写体領域とが重なる部分の面積と、領域３４０又は被写体領域の面積との比が予め定められた面積比以上となる被写体領域が、画像に在るか否かを判定する（ステップＳ４）。

領域３４０と被写体領域とが重なる部分の面積と、領域３４０又は被写体領域の面積との比が予め定められた面積比以上となる被写体領域が、画像に無い場合（ステップＳ４−Ｙｅｓ）、予め定められた面積比以上となる全ての各被写体領領域を示す情報を、優先度が高い被写体領域（主要被写体領域）を示す情報として、記憶部１６０に記憶させる（ステップＳ５）。

一方、ステップＳ１において、領域３１０と被写体領域とが重なる部分の面積と、領域３１０又は被写体領域の面積との比が予め定められた面積比以上となる被写体領域が、画像に在る場合（ステップＳ１−Ｙｅｓ）、予め定められた面積比以上となる全ての各被写体領領域を示す情報を、優先度が高い被写体領域（主要被写体領域）を示す情報として、記憶部１６０に記憶させる（ステップＳ６）。

また、ステップＳ２において、領域３２０と被写体領域とが重なる部分の面積と、領域３２０又は被写体領域の面積との比が予め定められた面積比以上となる被写体領域が、画像に在る場合（ステップＳ２−Ｙｅｓ）、予め定められた面積比以上となる全ての各被写体領領域を示す情報を、優先度が高い被写体領域（主要被写体領域）を示す情報として、記憶部１６０に記憶させる（ステップＳ７）。

また、ステップＳ３において、領域３３０と被写体領域とが重なる部分の面積と、領域３３０又は被写体領域の面積との比が予め定められた面積比以上となる被写体領域が、画像に在る場合（ステップＳ３−Ｙｅｓ）、予め定められた面積比以上となる全ての各被写体領領域を示す情報を、優先度が高い被写体領域（主要被写体領域）を示す情報として、記憶部１６０に記憶させる（ステップＳ８）。

また、ステップＳ４において、領域３４０と被写体領域とが重なる部分の面積と、領域３４０又は被写体領域の面積との比が予め定められた面積比以上となる被写体領域が、画像に在る場合（ステップＳ４−Ｎｏ）、ＣＰＵ１９０は、被写体領域無しで、ＡＦ評価領域のコントラスト値に基づいて、コントラスト・スキャン（焦点調整処理）を実行する（ステップＳ９）。

図７は、被写体領域に合焦させるまでの処理の手順を表すフローチャートである。特徴量算出部１４１は、撮像された画像（スルー画像、又はスルー画像列）を、バッファメモリ部１３０から取り込み（ステップＳａ１）、取り込んだ画像に対して、基本的な画像処理を実行する（ステップＳａ２）。

領域抽出部１４２は、撮像された画像がリサイズされたクロップ画像（６４×４０画素）を、バッファメモリ部１３０を介して色差毎に読み込む（ステップＳａ３）。領域抽出部１４２は、クロップ画像における複数の画像特徴量に基づいて、２値化画像を生成する（ステップＳａ４）。また、領域抽出部１４２は、２値化画像から被写体領域を抽出し、抽出した領域にラベルを割り当てる（ステップＳａ５）。

領域処理部１４３は、ノイズと推定される領域が画像にある場合、それらの領域を画像から除去する（ステップＳａ６）。また、領域処理部１４３は、背景と推定される領域が画像にある場合、その領域を画像から除去する（ステップＳａ７）。

優先度設定部１４４は、画像における「領域の優先度」を被写体領域毎に定める。ここで、優先度設定部１４４は、被写体領域を示す情報を、記憶部１６０及び記憶媒体２００に記憶させる。また、優先度設定部１４４は、予め定められた条件に基づいて、被写体領域を分割する（ステップＳａ８）。また、優先度設定部１４４は、予め定められた条件に基づいて、被写体領域を統合する（ステップＳａ９）。

また、領域抽出部１４２は、優先度設定部１４４が優先度を定めた被写体領域を、ＡＦ評価領域に合うよう矩形に整形する（ステップＳａ１０）。ＣＰＵ１９０は、ＡＦ評価領域のコントラスト値に基づいて、コントラスト・スキャン（焦点調整処理）を実行する（ステップＳａ１１）。また、ＣＰＵ１９０は、コントラスト・スキャンの結果に基づいて、至近に在る被写体が撮像されている被写体領域を優先し、その被写体領域に合焦させる（ステップＳａ１２）。

以上のように、領域抽出装置１４０は、撮像された画像から被写体領域を抽出する領域抽出部１４２と、前記撮像された画像の画角中心を含む第1領域と前記被写体領域とが重なる部分の面積と、前記第1領域または前記被写体領域の面積との面積比が所定値以上となる主要被写体領域が在るか否かを判定する領域処理部１４３（判定部）と、領域処理部１４３により、前記主要被写体領域が在ると判定された場合、前記主要被写体領域を示す情報を記憶部に記憶させる優先度設定部１４４（領域設定部）と、を備える。
この構成により、領域抽出装置１４０は、第１領域と被写体領域とが重なる部分の面積と、第１領域又は被写体領域の面積との比が予め定められた面積比以上となる被写体領域が、画像に在る場合、前記面積比以上となる被写体領域を示す情報を、記憶部に記憶させる。これにより、領域抽出装置１４０は、被写体領域を示す情報に基づいて、主要被写体の領域を画像から抽出することができる。

また、領域処理部１４３は、前記主要被写体が無いと判定した場合、前記第1領域を含む第２領域と前記被写体領域とが重なる部分の面積と、前記第２領域または前記被写体領域の面積との面積比が所定値以上となる主要被写体領域が在るか否かを判定する。
この構成により、領域抽出装置１４０は、第２領域と被写体領域とが重なる部分の面積と、第２領域又は被写体領域の面積との比が前記面積比以上となる被写体領域を示す情報を、記憶部に記憶させる。これにより、領域抽出装置１４０は、被写体領域を示す情報に基づいて、主要被写体の領域を画像から抽出することができる。

また、撮像装置１００は、領域抽出装置１４０と、領域抽出装置１４０が記憶させた被写体領域を示す情報に基づいて、前記被写体領域に合焦させるよう焦点を調節するＣＰＵ１９０（焦点調節部）と、前記被写体領域に合焦した状態を撮像する撮像部１１０と、を備える。
この構成により、領域抽出装置１４０は、被写体領域を示す情報を記憶させる。これにより、撮像装置１００は、被写体領域を示す情報に基づいて、主要被写体の領域に合焦させた状態で画像を撮像することができる。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない領域の設計等も含まれる。

また、上記に説明した領域抽出装置、撮像装置を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、実行処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１００…撮像装置、１１０…撮像部、１１１…レンズ鏡筒、１４０…領域抽出装置、１４１…特徴量算出部、１４２…領域抽出部、１４３…領域処理部（判定部）、１４４…優先度設定部（領域設定部）、１４５…記憶部、１９０…ＣＰＵ（焦点調節部）

Claims (16)

1. 画像から複数の被写体領域を抽出する第１領域抽出部と、
   前記第１領域抽出部により抽出された複数の前記被写体領域のうち、被写体領域の少なくとも一部の領域が前記画像の画角中心を含む第１領域に含まれる前記被写体領域を抽出する第２領域抽出部と、
   前記第２領域抽出部により抽出された前記被写体領域において前記第１領域に含まれる領域の面積と、前記第１領域の面積又は前記第２領域抽出部により抽出された前記被写体領域の面積と、の比により特定の被写体領域が存在するかを判定する判定部と、
   を備える領域抽出装置。
2. 前記判定部の判定結果により前記特定の被写体領域が存在しない場合、
   前記第２領域抽出部は、前記第１領域抽出部により抽出された複数の前記被写体領域のうち、被写体領域の少なくとも一部の領域が前記第１領域を含む第２領域に含まれる前記被写体領域を抽出し、
   前記判定部は、前記第２領域抽出部により抽出された前記被写体領域において前記第２領域に含まれる領域の面積と、前記第２領域の面積又は前記第２領域抽出部により抽出された前記被写体領域の面積と、の比により特定の被写体領域が存在するかを判定する請求項１に記載の領域抽出装置。
3. 前記第１領域抽出部は、画像の輝度情報又は画像の色情報により複数の被写体領域を抽出する請求項１又は請求項２に記載の領域抽出装置。
4. 画像から複数の被写体領域を抽出する領域抽出部と、
   前記領域抽出部により抽出された複数の前記被写体領域のうち、被写体領域の少なくとも一部の領域が前記画像の画角中心を含む第１領域に含まれる前記被写体領域の前記第１領域に含まれる領域の面積と、前記第１領域の面積又は前記領域抽出部により抽出された複数の前記被写体領域のうち、被写体領域の少なくとも一部の領域が前記画像の画角中心を含む第１領域に含まれる前記被写体領域の面積と、の比により特定の被写体領域が存在するかを判定する判定部と、
   を備える領域抽出装置。
5. 前記判定部は、前記判定部の判定結果により前記特定の被写体領域が存在しない場合、前記領域抽出部により抽出された複数の前記被写体領域のうち、被写体領域の少なくとも一部の領域が前記第１領域を含む第２領域に含まれる前記被写体領域の前記第２領域に含まれる領域の面積と、前記第２領域の面積又は前記領域抽出部により抽出された複数の前記被写体領域のうち、被写体領域の少なくとも一部の領域が前記第２領域に含まれる前記被写体領域の面積と、の比により特定の被写体領域が存在するかを判定する請求項４に記載の領域抽出装置。
6. 前記領域抽出部は、画像の輝度情報又は画像の色情報により複数の被写体領域を抽出する請求項４又は請求項５に記載の領域抽出装置。
7. レンズにより結像された被写体像を撮像して画像データを生成する撮像部と、
   前記画像データによる画像から複数の被写体領域を抽出する第１領域抽出部と、
   前記第１領域抽出部により抽出された複数の前記被写体領域のうち、被写体領域の少なくとも一部の領域が前記画像の画角中心を含む第１領域に含まれる前記被写体領域を抽出する第２領域抽出部と、
   前記第２領域抽出部により抽出された前記被写体領域において前記第１領域に含まれる領域の面積と、前記第１領域の面積又は前記第２領域抽出部により抽出された前記被写体領域の面積と、の比により特定の被写体領域が存在するかを判定する判定部と、
   前記判定部の判定結果により前記特定の被写体領域が存在する場合、前記特定の被写体領域を示す被写体に合焦するように前記レンズを駆動させる駆動部と、
   を備える撮像装置。
8. 前記判定部の判定結果により前記特定の被写体領域が存在しない場合、
   前記第２領域抽出部は、前記第１領域抽出部により抽出された複数の前記被写体領域のうち、被写体領域の少なくとも一部の領域が前記第１領域を含む第２領域に含まれる前記被写体領域を抽出し、
   前記判定部は、前記第２領域抽出部により抽出された前記被写体領域において前記第２領域に含まれる領域の面積と、前記第２領域の面積又は前記第２領域抽出部により抽出された前記被写体領域の面積と、の比により特定の被写体領域が存在するかを判定する請求項７に記載の撮像装置。
9. 前記第１領域抽出部は、画像の輝度情報又は画像の色情報により複数の被写体領域を抽出する請求項７又は請求項８に記載の撮像装置。
10. 前記駆動部は、判定結果により複数の前記特定の被写体領域が存在する場合、複数の前記特定の被写体領域のうち、特定の色相又は特定の彩度を有する特定の被写体領域を示す被写体に合焦するように前記レンズを駆動させる請求項７から請求項９のいずれか一項に記載の撮像装置。
11. レンズにより結像された被写体像を撮像して画像データを生成する撮像部と、
    前記画像データによる画像から複数の被写体領域を抽出する領域抽出部と、
    前記領域抽出部により抽出された複数の前記被写体領域のうち、被写体領域の少なくとも一部の領域が前記画像の画角中心を含む第１領域に含まれる前記被写体領域の前記第１領域に含まれる領域の面積と、前記第１領域の面積又は前記領域抽出部により抽出された複数の前記被写体領域のうち、被写体領域の少なくとも一部の領域が前記画像の画角中心を含む第１領域に含まれる前記被写体領域の面積と、の比により特定の被写体領域が存在するかを判定する判定部と、
    前記判定部の判定結果により前記特定の被写体領域が存在する場合、前記特定の被写体領域を示す被写体に合焦するように前記レンズを駆動させる駆動部と、
    を備える撮像装置。
12. 前記判定部は、前記特定の被写体領域が存在しない場合、前記領域抽出部により抽出された複数の前記被写体領域のうち、被写体領域の少なくとも一部の領域が前記第１領域を含む第２領域に含まれる前記被写体領域の前記第２領域に含まれる領域の面積と、前記第２領域の面積又は前記領域抽出部により抽出された複数の前記被写体領域のうち、被写体領域の少なくとも一部の領域が前記第２領域に含まれる前記被写体領域の面積と、の比により特定の被写体領域が存在するかを判定する請求項１１に記載の撮像装置。
13. 前記領域抽出部は、画像の輝度情報又は画像の色情報により複数の被写体領域を抽出する請求項１１又は請求項１２に記載の撮像装置。
14. 前記駆動部は、判定結果により複数の前記特定の被写体領域が存在する場合、複数の前記特定の被写体領域のうち、特定の色相又は特定の彩度を有する特定の被写体領域を示す被写体に合焦するように前記レンズを駆動させる請求項１１から請求項１３のいずれか一項に記載の撮像装置。
15. コンピュータに、
    画像から複数の被写体領域を抽出する第１領域抽出手順と、
    前記第１領域抽出手順により抽出された複数の前記被写体領域のうち、被写体領域の少なくとも一部の領域が前記画像の画角中心を含む第１領域に含まれる前記被写体領域を抽出する第２領域抽出手順と、
    前記第２領域抽出手順により抽出された前記被写体領域において前記第１領域に含まれる領域の面積と、前記第１領域の面積又は前記第２領域抽出手順により抽出された前記被写体領域の面積と、の比により特定の被写体領域が存在するかを判定する判定手順と、
    を実行させるための領域抽出プログラム。
16. コンピュータに、
    画像から複数の被写体領域を抽出する領域抽出手順と、
    前記領域抽出手順により抽出された複数の前記被写体領域のうち、被写体領域の少なくとも一部の領域が前記画像の画角中心を含む第１領域に含まれる前記被写体領域の前記第１領域に含まれる領域の面積と、前記第１領域の面積又は前記領域抽出手順により抽出された複数の前記被写体領域のうち、被写体領域の少なくとも一部の領域が前記画像の画角中心を含む第１領域に含まれる前記被写体領域の面積と、の比により特定の被写体領域が存在するかを判定する判定手順と、
    を実行させるための領域抽出プログラム。

Images