JP6323314B2 - 合焦制御装置及び合焦制御プログラム - Google Patents

Description

開示の技術は、合焦制御装置及び合焦制御プログラムに関する。

画像データを取得し、取得した画像データからコントラスト値を計算することを、レンズ位置を移動させながら繰り返し、コントラスト値がピークとなる位置にレンズを移動させる合焦制御を行う技術が存在する。また、合焦対象領域で高周波成分の不足によりコントラスト値のピークが検出されない場合に、合焦対象領域の面積を拡大する合焦制御を行う技術が存在する。また、第１の領域でコントラスト値のピークが検出されなかった場合、コントラスト値が最大を示す第２の領域でコントラスト値のピークの検出を行う合焦制御を行う技術が存在する。また、多点測距によって主要被写体の位置をラフに検出し、検出した主要被写体の位置を基準に画像解析を行うことにより、フレームの中央以外に主要被写体が存在している場合であっても、主要被写体の位置を検出して合焦制御を行う技術が存在する。

特開平０３−２６１２７７号公報 特開平４−２６７２１０号公報 特開昭６２−１８２７０４号公報 特開２０１２−１２３３２４号公報

関連技術では、初期の合焦対象領域内でコントラスト値のピークが検出されなかった場合、合焦対象領域の面積を拡大したり、合焦対象領域の位置を移動したりする。しかしながら、関連技術では、合焦対象領域の面積を拡大する場合、処理領域の拡大に伴って合焦制御処理の負荷が増大する可能性がある。また、合焦対象領域の位置を移動する場合も、移動先を決定するために、現在の合焦対象領域外の画像データを利用しているため、処理領域が拡大され、処理の負荷が増大する。

開示の技術は、１つの側面として、合焦対象領域のコントラスト評価値からレンズの合焦位置が決定されない場合の合焦制御処理の負荷を軽減する。

開示の技術において、取得部は、光軸方向のレンズの位置が互いに異なる複数の第１フレームの画像データを取得する。移動部は、複数の第１フレームの合焦対象領域のコントラスト評価値に基づいてレンズの合焦位置が決定されない場合に、合焦対象領域を移動する方向を決定し、決定した方向に合焦対象領域を移動させる。合焦対象領域を移動する方向は、複数の第１フレームの画像データの各々における合焦対象領域内のコントラスト評価値の大きさ及びコントラスト評価値が所定の閾値以上の領域の位置に基づいて決定される。又は、合焦対象領域を移動する方向は、取得部によって新たに取得された複数の第２フレームの画像データの各々における合焦対象領域内のコントラスト評価値の大きさ及びコントラスト評価値が所定の閾値以上の領域の位置に基づいて決定される。

開示の技術は、１つの側面として、合焦対象領域のコントラスト評価値からレンズの合焦位置が決定されない場合の合焦制御処理の負荷を軽減する、という効果を有する。

実施形態に係るスマートデバイスの要部機能の一例を示すブロック図である。 実施形態に係るスマートデバイスの電気系の構成の一例を示すブロック図である。 実施形態に係る画像取得領域及び合焦対象領域の一例を示す概念図である。 実施形態に係る合焦制御処理の一例を示すフローチャートである。 実施形態に係るコントラスト値算出処理の一例を示すフローチャートである。 実施形態に係る物体検出処理の一例を示すフローチャートである。 実施形態に係るコントラスト値の一例を示すグラフである。 実施形態に係るコントラスト値の一例を示すグラフである。 実施形態に係るコントラスト値の一例を示すグラフである。 実施形態に係る画像取得領域の一例を示す概念図である。 実施形態に係る合焦対象領域の一例を示す概念図である。 実施形態に係る画像取得領域の一例を示す概念図である。 実施形態に係る合焦対象領域の一例を示す概念図である。 実施形態に係る屋外判定処理の一例を示すフローチャートである。 実施形態に係る合焦対象領域判定処理の一例を示すフローチャートである。 実施形態に係る物体方向算出処理の一例を示すフローチャートである。 実施形態に係る合焦対象領域の分割の一例を示す概念図である。 実施形態に係る合焦対象領域の移動の一例を示す概念図である。 実施形態に係る合焦対象領域の移動の一例を示す概念図である。 実施形態に係る合焦対象領域の拡大の一例を示す概念図である。

以下、図面を参照して開示の技術の実施形態の一例を詳細に説明する。なお、以下の説明では、開示の技術に係る合焦制御装置の一例としてスマートデバイスを用いた場合を例に挙げて説明するが、開示の技術はこれに限定されるものではない。開示の技術は、例えば、スマートデバイスと同様に、ユーザが手で保持して撮影操作を行うことにより画像を取得するコンパクトデジタルカメラなどに適用可能である。

一例として図１に示すスマートデバイス１０は、取得部１２、移動部１６、及び、屋外判定部１８を含む。取得部１２、移動部１６、及び、屋外判定部１８は、相互に接続されている。取得部は、光軸方向のレンズの位置が互いに異なる複数の第１フレームの画像データを取得する。移動部は、複数の第１フレームの合焦対象領域のコントラスト評価値に基づいてレンズの合焦位置が決定されない場合に、合焦対象領域を移動する方向を決定し、決定した方向に合焦対象領域を移動させる。合焦対象領域を移動する方向は、複数の第１フレームの画像データの各々における合焦対象領域内のコントラスト評価値の大きさ及びコントラスト評価値が所定の閾値以上の領域の位置に基づいて決定される。または、合焦対象領域を移動する方向は、取得部によって新たに取得された複数の第２フレームの画像データの各々における合焦対象領域内のコントラスト評価値の大きさ及びコントラスト評価値が所定の閾値以上の領域の位置に基づいて決定される。

スマートデバイス１０は、一例として図２に示すように、ＣＰＵ（Central Processing Unit）６０、１次記憶部６２、２次記憶部６４、外部インターフェイス７０、タッチパネルディスプレイ７４、カメラ７６、測光センサ７８、及び加速度センサ７９を含む。タッチパネルディスプレイ７４は、タッチパネル７４Ａ及びディスプレイ７４Ｂを含む。カメラ７６は、ＣＣＤまたはＣＭＯＳ等の撮像素子を含む画像取得部７６Ａ、レンズ７６Ｃ、及びレンズ７６Ｃを光軸方向に移動させるレンズ駆動部７６Ｂを含む。ＣＰＵ６０、１次記憶部６２、２次記憶部６４、外部インターフェイス７０、及びタッチパネルディスプレイ７４は、バス８０を介して相互に接続されている。

タッチパネル７４Ａはタッチパネル７４Ａに対するタッチ操作を検出する。ディスプレイ７４Ｂは取得される画像などを表示する。画像取得部７６Ａは、画像データを取得する。レンズ駆動部７６Ｂは、例えば、ステッピングモータ等を含み、合焦のために、複数の段階を含むマクロ端及び無限遠端の間で光軸方向にレンズ７６Ｃを移動させる。測光センサ７８は、被写体輝度を検出する。加速度センサ７９は、重力加速度方向を検出する。外部インターフェイス７０には、外部装置が接続され、外部装置とＣＰＵ６０との間の各種情報の送受信を司る。

１次記憶部６２は、例えば、ＲＡＭ（Random Access Memory）などの揮発性のメモリである。２次記憶部６４は、例えば、ＨＤＤ（Hard Disk Drive）、またはＳＳＤ（Solid State Drive）などの不揮発性のメモリである。

２次記憶部６４は、一例として、取得サブプログラム６６Ａ、移動サブプログラム６６Ｂ、及び屋外判定サブプログラム６６Ｃを含む合焦制御プログラム６６を記憶している。ＣＰＵ６０は、２次記憶部６４から取得サブプログラム６６Ａ、移動サブプログラム６６Ｂ、及び屋外判定サブプログラム６６Ｃを順次読み出して１次記憶部６２に展開する。

ＣＰＵ６０は、取得サブプログラム６６Ａを実行することで、図１に示す取得部１２として動作する。ＣＰＵ６０は、移動サブプログラム６６Ｂを実行することで、図１に示す移動部１６として動作する。ＣＰＵ６０は、屋外判定サブプログラム６６Ｃを実行することで、図１に示す屋外判定部１８として動作する。なお、合焦制御プログラム６６は開示の技術に係る合焦制御プログラムの一例である。

図３に、本実施形態に係る画像取得領域３０の一例を示す。画像取得領域３０は、撮像素子によって撮影されるフレームの領域である。画像取得領域３０は、縦方向及び横方向に各々複数個に格子状に分割される。ここでは、縦方向をＡ〜Ｅの５行に分割し、横方向に１〜５の５列に分割する例を示す。すなわち、画像取得領域３０は、５×５の２５個の領域に分割される。例えば、中央の太線で囲まれている領域は、Ｃ行３列の領域であるから、以下、領域Ｃ３と呼ぶ。本実施形態では、領域Ｃ３を、初期設定における合焦対象領域とする。合焦対象領域とは、画像取得領域の部分領域であり、合焦に利用される領域である。

次に、本実施形態の作用として、ＣＰＵ６０が合焦制御プログラム６６を実行することで、スマートデバイス１０によって行われる合焦制御処理について、図４を参照して説明する。

合焦制御処理は、例えば、スマートデバイス１０のタッチパネルディスプレイ７４に表示される図示しない撮影開始ボタンなどをユーザがタップすることによって開始される。

図４のステップ１０２で、ＣＰＵ６０は、図５に詳細を示すコントラスト値算出処理を開始する。図５のステップ２０２で、ＣＰＵ６０は、レンズ駆動部７６Ｂを用いて、レンズ７６Ｃをマクロ端に移動させる。ステップ２０４で、ＣＰＵ６０は、画像取得部７６Ａを用いて合焦対象領域Ｃ３の画像データを取得する。なお、ここで取得される画像データは、複数の第１フレームの画像データの一例である。また、合焦対象領域Ｃ３を含む１フレーム分の画像データを取得するようにしてもよい。

ステップ２０６で、ＣＰＵ６０は、ステップ２０４で取得した画像データのコントラスト値を計算する。コントラスト値は、例えば、最大輝度値と最小輝度値との和に対する最大輝度値と最小輝度値との差の比を表す式（１）で計算される。式（１）において、Ｌｍａｘは最大輝度値であり、Ｌｍｉｎは最小輝度値である。輝度値Ｌは、式（２）で計算される。Ｒは画素値の赤成分、Ｇは画素値の緑成分、Ｂは画素値の青成分である。
コントラスト値＝（Ｌｍａｘ−Ｌｍｉｎ）／（Ｌｍａｘ＋Ｌｍｉｎ） …（１）
輝度値Ｌ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ …（２）

なお、開示の技術におけるコントラスト評価値は上記のコントラスト値に限定されない。例えば、コントラスト値と相関のある別の評価値、詳細には、鮮鋭度等であってもよい。

ステップ２０８で、ＣＰＵ６０は、レンズ駆動部７６Ｂを用いて、レンズ７６Ｃを、マクロ端から無限遠端に向けて所定段階数移動させる。ステップ２１０で、ＣＰＵ６０は、レンズ７６Ｃがマクロ端から無限遠端までの段階数分移動したか否かを判定する。判定が否定された場合、ＣＰＵ６０は、ステップ２０４に戻り、レンズ７６Ｃが無限遠端に到達するまで、ステップ２０４〜ステップ２１０の処理を繰り返す。ステップ２０８では、レンズ７６Ｃが無限遠端に到達するまでに、例えば、１５フレームの画像データを取得することが可能であるように、レンズ７６Ｃの移動段階数を設定する。以上の結果、レンズ７６Ｃがマクロ端から無限遠端まで所定段階数ずつ移動させられ、移動させられる毎に、コントラスト値が算出される。

ステップ２１０で、ＣＰＵ６０が、レンズ７６Ｃが無限遠端まで移動したことを判定すると、ＣＰＵ６０は、コントラスト値算出処理を終了し、図４のステップ１０４に進む。

図４のステップ１０４で、図３のステップ２０６で算出した合焦対象領域の画像データのコントラスト値からレンズ位置の移動に伴うコントラスト値のピークを山登り方式を用いて検出する。ステップ１０４で、ピークが検出された場合、ステップ１０６で、レンズ駆動部７６Ｂを用いて、レンズ７６Ｃを駆動し、ピークが検出された位置に移動して、合焦制御処理を終了する。

図７Ａ〜図７Ｃに、縦軸をコントラスト値、横軸をレンズ位置とするグラフを例示する。図７Ａに示すように、レンズ位置Ｘにコントラスト値のピークが存在する場合、ＣＰＵ６０は、レンズ位置Ｘにレンズ７６Ｃを移動させ、合焦制御処理を終了する。

一方、ステップ１０４で、ピークが検出されなかった場合、ステップ１０８に進み、図６に詳細を示す物体検出処理を実行する。例えば、図７Ｂに示すように、コントラスト値のピークが存在しない場合、及び、図７Ｃに示すように、コントラスト値のピークが複数存在し、どのピークが適切なピークであるか判定が不可能である場合、ＣＰＵ６０は、物体検出処理を実行する。物体検出処理の詳細は図６に示す。

図６のステップ３０２で、ＣＰＵ６０は、レンズ駆動部７６Ｂにより、レンズ７６Ｃを所定の位置へ移動させた後、所定の位置にレンズ７６Ｃを停止させる。所定の位置は、例えば、１ｍ離れた位置に存在する物体に合焦するレンズ位置である。所定の位置は、レンズの結像式により予め算出される。ステップ３０４で、ＣＰＵ６０は、画像取得部７６Ａを用いて、初期合焦対象領域である合焦対象領域Ｃ３の画像データを取得する。ステップ３０６で、ＣＰＵ６０は、合焦対象領域Ｃ３のコントラスト値を算出する。ステップ３０７で、ＣＰＵ６０は、取得した画像データのフレーム数をカウントし、ステップ３０８で、ＣＰＵ６０は、ステップ３０４で所定のフレーム数を越える合焦対象領域Ｃ３の画像データを取得したか否かをステップ３０７のカウントに基づいて判定する。ステップ３０８で、所定のフレーム数を越える合焦対象領域Ｃ３の画像データを取得していないと判定された場合、ＣＰＵ６０は、ステップ３０４に戻り、ステップ３０４〜ステップ３０８の処理を繰り返す。所定のフレーム数は、例えば、１５であってよい。なお、ここで取得される画像データは、複数の第２フレームの画像データの一例である。

ステップ３０８で、所定のフレーム数を越える画像データを取得したと判定された場合、ＣＰＵ６０は、ステップ３１０に進み、ステップ３０４で取得した画像データの中で最大のコントラスト値を有するフレームを選択する。ステップ３１２で、ＣＰＵ６０は、ステップ３１０で選択したフレームのコントラスト値が所定の閾値以上であるか否かを判定する。ステップ３１２で、コントラスト値が所定の閾値以上であると判定されると、合焦に利用可能な物体が存在するということであるから、ステップ３１６で、ＣＰＵ６０は、検出フラグに１を設定し、物体検出処理を終了し、図４のステップ１１０に進む。

ステップ３１２で、コントラスト値が所定の閾値未満であると判定されると、合焦に利用可能な物体が存在しないということであるから、ステップ３１４で、ＣＰＵ６０は、検出フラグに０を設定し、物体検出処理を終了し、図４のステップ１１０に進む。閾値は、例えば、０．４であってよいが、開示の技術はこれに限定されない。

本実施の形態は、コントラスト値算出処理のステップ２０４及び物体検出処理のステップ３０４で初期合焦対象領域の画像データを取得する間、ユーザがスマートデバイス１０を手で保持している場合に適用される。ユーザが図８に例示する風景の画像データを取得しようとする場合、ユーザが意識的に手を動かさなくても、図９のフレーム１〜フレーム１５に例示するように、手振れにより、合焦対象領域Ｃ３の画像データは変動する。例えば、図９のフレーム２〜フレーム６では、合焦対象領域Ｃ３の右下隅に物体（ビルの上端角部）の画像データが入り込む。ここでは、図９のフレーム４の画像データのコントラスト値が最大となり、ステップ３１０で、図９のフレーム４が選択される。コントラスト値が所定の閾値以上である場合、ステップ３１６で検出フラグに１が設定される。コントラスト値が所定の閾値未満であれば、ステップ３１４で検出フラグに０が設定される。

ユーザが図１０に例示する風景の画像データを取得しようとする場合、手振れが生じたとしても、図１１のフレーム１〜フレーム１５に例示するように、合焦対象領域Ｃ３の画像データは変動しない。すなわち、図１１のフレーム１〜フレーム１５では、合焦対象領域Ｃ３に物体の画像データは入り込まない。合焦対象領域Ｃ３に対応する風景の部分の近傍には物体が存在しないためである。ここでは、いずれのフレームの画像データのコントラスト値も所定の閾値未満であり、ステップ３１４で検出フラグに０が設定される。

図４のステップ１１０で、ＣＰＵ６０は、検出フラグが０であるか１であるかを判定する。検出フラグが０であると判定されると、ＣＰＵ６０は、ステップ１１２に進み、図１２に詳細を示す屋外判定処理を実行する。図１２のステップ４０２で、ＣＰＵ６０は、被写体輝度値ＢＶを、測光センサ７８によって検出された被写体輝度に基づいて算出する。

ステップ４０４で、ＣＰＵ６０は、被写体輝度値ＢＶが所定の閾値以上であるか否か判定する。ステップ４０４で、被写体輝度値ＢＶが所定の閾値以上であると判定されると、ステップ４０６で、ＣＰＵ６０は、合焦対象領域Ｃ３の画像データが屋外の画像データであると判定し、判定フラグに１を設定し、屋外判定処理を終了し、図４のステップ１１４に進む。ステップ４０４で、被写体輝度値ＢＶが所定の閾値未満であると判定されると、ステップ４０８で、ＣＰＵ６０は、合焦対象領域Ｃ３の画像データが屋内の画像データであると判定し、判定フラグに０を設定し、屋外判定処理を終了し、図４のステップ１１４に進む。所定の閾値は、例えば、５であってよい。

図４のステップ１１４で、ＣＰＵ６０は、判定フラグが０であるか１であるか判定する。ステップ１１４で、判定フラグが１であると判定されると、ステップ１１６で、ＣＰＵ６０は、物体方向を加速度センサ７９で検出された重力加速度方向（以下、重力加速度方向を便宜的に下方向と称し、他の方向を「下方向」を基準として説明する）に設定し、ステップ１２２に進み、図１３に詳細を示す合焦対象領域変更処理を実行する。屋外において合焦対象領域に物体が検出されない場合、当該画像データは空に対応する可能性が高く、その場合、合焦対象領域の下に存在する領域、すなわち、被写体の重力加速度方向に存在する領域に合焦に利用可能な物体が存在する可能性が高いため、後述するように、合焦対象領域を画像取得領域３０内で下方向に移動する。

ステップ１１４で、判定フラグが０であると判定されると、ステップ１１８で、ＣＰＵ６０は、物体方向をnullに設定し、ステップ１２２に進み、図１３に詳細を示す合焦対象領域変更処理を実行する。屋内において合焦対象領域に物体が検出されない場合、合焦に利用可能な物体がどこに存在する可能性が高いか不明であるため、後述するように、合焦対象領域を移動するのではなく、合焦対象領域の面積を拡大する。これは、合焦対象領域の面積を拡大すると、合焦対象領域の画像データに合焦に利用可能な物体に対応する画像データが含まれることになる可能性が高くなるためである。

図４のステップ１１０に説明を戻す。ＣＰＵ６０が、検出フラグが０であるか１であるかを判定したときに、検出フラグが１であると判定されると、ＣＰＵ６０は、ステップ１２０に進み、図１４に詳細を示す物体方向算出処理を実行する。

図１４のステップ５０２で、ＣＰＵ６０は、図１５に示すように合焦対象領域Ｃ３を３×３個の複数領域に分割する。ステップ５０４で、図１５に（２）で示す領域に対応する画像データのコントラスト値を算出する。ステップ５０６で、（１）で示す中央の領域以外の８個の領域（２）〜（９）のコントラスト値が全て算出されたか否かを判定する。ステップ５０６で、中央の領域（１）以外の８個の領域のコントラスト値が全て算出されていないと判定されると、ＣＰＵ６０は、ステップ５０４に戻り、（２）〜（９）の領域のコントラスト値が全て算出されるまで、ステップ５０４及びステップ５０６の処理を繰り返す。

ステップ５０６で、（２）〜（９）の領域のコントラスト値が全て算出されたことが判定されると、ステップ５０８で、ＣＰＵ６０は、物体方向として、合焦対象領域Ｃ３の中央からコントラスト値が最大である領域に向かう方向を設定し、図４のステップ１２２に進み、図１３に詳細を示す合焦対象領域変更処理を実行する。

ステップ３１０で選択された図９のフレーム４に例示する画像データでは、領域（６）のコントラスト値が最大となるため、物体方向として領域（６）に向かう方向が設定される。合焦対象領域Ｃ３内の右下隅の領域（６）のコントラスト値が最大である場合、合焦対象領域Ｃ３の右斜め下に存在する領域Ｄ４に合焦に利用可能な物体が存在する可能性が高いため、後述するように、合焦対象領域を右斜め下方向に移動する。

図１３のステップ６０２で、ＣＰＵ６０は、物体方向がnullであるか否か判定する。ステップ６０２で、物体方向がnullではないと判定されると、ステップ６０４で、ＣＰＵ６０は、物体方向に設定されている方向に合焦対象領域を移動して、図４のステップ１２４で、図５に詳細を示すコントラスト値算出処理を実行する。

例えば、ステップ１１６で、物体方向に下方向が設定されている場合、図１６に示すように、合焦対象領域は領域Ｃ３から領域Ｄ３に移動する。

例えば、ステップ５０８で、物体方向に右斜め下方向が設定されている場合、図１７に示すように、合焦対象領域は領域Ｃ３から領域Ｄ４に移動する。

ステップ６０２で、物体方向がnullであると判定されると、ステップ６０６で、図１８に示すように、ＣＰＵ６０は、合焦対象領域を領域Ｃ３から領域Ｂ２、Ｂ３、Ｂ４、Ｃ２、Ｃ３、Ｃ４、Ｄ２、Ｄ３、Ｄ４を含む矩形領域に拡大する。次に、図４のステップ１２４で、ＣＰＵ６０は、図５に詳細を示すコントラスト値算出処理を実行する。

ステップ１２４のコントラスト値算出処理については、上記したため、詳細については省略する。コントラスト値算出処理を終了すると、ＣＰＵ６０は、ステップ１０６で、レンズ駆動部７６Ｂでレンズ７６Ｃを駆動して、コントラスト値がピークとなる位置に移動し、合焦制御処理を終了する。

開示の技術では、光軸方向に移動されたレンズの各位置に応じたフレームを含む複数の第１フレームの画像データを取得する。また、開示の技術では、複数の第１フレームの合焦対象領域のコントラスト値に基づいてレンズの合焦位置が決定されない場合に、複数の第２フレームの画像データを取得する。また、開示の技術では、複数の第２フレームの各々の合焦対象領域のコントラスト値の大きさ及びコントラストの位置に基づいて合焦対象領域を移動する方向を決定し、決定した方向に合焦対象領域を移動する。これにより、開示の技術では、複数の第１フレームの合焦対象領域のコントラスト値に基づいてレンズの合焦位置が決定されない場合でも、合焦に利用可能な物体に対応する画像データが存在する可能性が高い領域に合焦対象領域を移動することが可能となる。ここで、合焦対象領域外の画像データは、用いられない。したがって、合焦制御処理に生じる負荷を軽減することが可能となる。

開示の技術では、合焦対象領域内の領域（２）〜（９）から、コントラスト値が閾値を越える領域が検出されない場合であっても、合焦対象領域の画像データが屋外の画像データである場合、合焦対象領域の下方向に合焦対象領域の位置を移動する。これにより、開示の技術では、合焦対象領域内の領域（２）〜（９）のいずれに合焦に利用可能な物体に対応する画像データが存在するかが不明な場合であっても、合焦に利用可能な物体に対応する画像データが存在する可能性が高い方向に合焦対象領域を移動することが可能となる。したがって、合焦制御処理に生じる負荷を軽減することが可能となる。

開示の技術では、前記合焦対象領域の画像データが屋外の画像データではない場合、合焦対象領域の面積を拡大する。これにより、開示の技術では、現在の合焦対象領域に対する合焦に利用可能な物体に対応する画像データが存在する領域の位置が不明な場合であっても、合焦に利用可能な物体に対応する画像データを合焦対象領域に含めることが可能となる。したがって、合焦制御処理に生じる負荷を軽減することが可能となる。

なお、上記では、合焦制御プログラム６６が、２次記憶部６４に予め記憶（インストール）されている態様を説明した。しかしながら、合焦制御プログラム６６は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の非一時的記録媒体に記録されている形態で提供することも可能である。また、合焦制御プログラム６６は遠隔のサーバに記憶されていてもよい。例えば、スマートデバイスは、インターネットなどの通信回線を介して遠隔のサーバに記憶されている合焦制御プログラム６６の実行結果を受信してもよい。

なお、上記実施形態では、図３に示すように、画像取得領域３０を５×５の格子状の領域に分割したが、開示の技術はこれに限定されない。例えば、６×６の格子状の領域に分割してもよいし、１６×１６の格子状の領域に分割してもよい。

なお、上記実施形態では、初期の合焦対象領域を図３のＣ３領域としたが、開示の技術はこれに限定されない。例えば、Ｂ２、Ｂ３、Ｂ４、Ｃ２、Ｃ３、Ｃ４、Ｄ２、Ｄ３、Ｄ４を含む矩形領域を合焦対象領域としてもよい。

なお、上記実施形態では、図５に示すコントラスト値算出処理において、レンズ７６Ｃをマクロ端から無限遠端に移動する例について説明したが、開示の技術はこれに限定されない。例えば、レンズ７６Ｃの現在位置が無限遠端に近ければ、レンズ７６Ｃを無限遠端からマクロ端に移動するようにしてもよい。また、レンズ７６Ｃの一方の端位置から他方の端位置への移動を開始し、合焦位置と判断できるコントラスト値のピークを検出した場合に、他方の端位置へのレンズ７６Ｃの移動を停止して合焦位置へ移動させるようにしてもよい。

なお、上記実施形態では、図５に示すコントラスト値算出処理において、合焦対象領域の画像データを取得し、その後、レンズ７６Ｃを移動しているが、開示の技術はこれに限定されない。レンズ７６Ｃを移動し、その後、合焦対応領域の画像データを取得するようにしてもよい。

なお、図９のフレーム１〜フレーム１５の合焦対象領域の画像データは、ユーザの手振れにより、合焦対象領域に物体が入り込むように撮影されてもよい。しかしながら、開示の技術はこれに限定されない。例えば、ユーザが合焦対象領域を移動させる目的で、意図的に、合焦対象領域に物体が入り込むように、スマートデバイスを保持している手を微細に動かすことによって、合焦対象領域に物体が入り込むように撮影されてもよい。

なお、上記実施形態では、被写体輝度値ＢＶを用いて、図１２に例示する屋外判定処理を実行したが、開示の技術はこれに限定されない。例えば、一般的な空検出アルゴリズムまたは青空検出アルゴリズムを用いて、合焦対象領域の画像データが空または青空に対応する画像データであることを判定してもよい。

なお、上記実施形態では、図１３のステップ６０４で、図１６及び図１７に例示するように、合焦対象領域を分割した行の高さ及び列の幅の長さだけ移動する例を示したが、開示の技術はこれに限定されない。例えば、合焦対象領域を、行の高さの１／２及び列の幅の１／２の長さだけ移動するようにしてもよい。

なお、上記実施形態では、ステップ６０６で、図１８に例示するように、合焦対象領域を行の高さ及び列の幅の長さだけ拡大する例を示したが、開示の技術はこれに限定されない。例えば、合焦対象領域を拡大する高さ及び幅は、行の高さの１／２及び列の幅の１／２の長さであってもよい。

なお、例えば、図３の画像取得領域３０は、合焦制御処理の間、タッチパネルディスプレイ７４に表示されていてもよい。また、行及び列の境界を示す線及び合焦対象領域を示す線もタッチパネルディスプレイ７４に表示されていてもよい。

また、上記では、複数の第１フレームの画像データを取得した後、コントラスト評価値からレンズの合焦位置が決定されない場合に、レンズ７６Ｃが所定の位置に位置している状態で、複数の第２フレームの画像データを取得する態様を説明した。しかしながら、開示の技術はこれに限定されない。複数の第２フレームの画像データの取得を省略し、複数の第１フレームの画像データを用いて、図４のステップ１０８の物体検出処理以降の処理を行うようにしてもよい。

以上の実施形態に関し、更に以下の付記を開示する。
（付記１）
光軸方向のレンズの位置が互いに異なる複数の第１フレームの画像データを取得する取得部と、
前記複数の第１フレームの合焦対象領域のコントラスト評価値に基づいて前記レンズの合焦位置が決定されない場合に、前記複数の第１フレーム、又は、前記取得部によって新たに取得された複数の第２フレームの画像データの各々における合焦対象領域内のコントラスト評価値の大きさ及びコントラスト評価値が所定の閾値以上の領域の位置に基づいて合焦対象領域を移動する方向を決定し、決定した方向に合焦対象領域を移動させる移動部と、
を含む合焦制御装置。

（付記２）
前記移動部によって前記合焦対象領域を移動する方向が決定されない場合に、前記合焦対象領域の画像データが屋外の画像データであるか否か判定する屋外判定部、をさらに含み、
前記移動部は、前記屋外判定部が、前記合焦対象領域の画像データが屋外の画像データであると判定した場合、前記合焦対象領域の位置を被写体の重力加速度方向へ移動させる、
付記１に記載の合焦制御装置。

（付記３）
前記屋外判定部が、前記合焦対象領域の画像データが屋外の画像データではないと判定した場合、前記移動部は、前記合焦対象領域の面積を拡大させる、
付記２に記載の合焦制御装置。

（付記４）
光軸方向のレンズの位置が互いに異なる複数の第１フレームの画像データを取得し、
前記複数の第１フレームの合焦対象領域のコントラスト評価値に基づいて前記レンズの合焦位置が決定されない場合に、前記複数の第１フレーム、又は、新たに取得された複数の第２フレームの画像データの各々における合焦対象領域内のコントラスト評価値の大きさ及びコントラスト評価値が所定の閾値以上の領域の位置に基づいて合焦対象領域を移動する方向を決定し、決定した方向に合焦対象領域を移動させる、
処理をコンピュータに実行させるための合焦制御プログラム。

（付記５）
前記合焦対象領域を移動する方向が決定されない場合に、前記合焦対象領域の画像データが屋外の画像データであるか否か判定し、
前記合焦対象領域の画像データが屋外の画像データであると判定した場合、前記合焦対象領域の位置を被写体の重力加速度方向へ移動させる、
処理をコンピュータに実行させるための付記４に記載の合焦制御プログラム。

（付記６）
前記合焦対象領域の画像データが屋外の画像データではないと判定した場合、前記合焦対象領域の面積を拡大させる、
処理をコンピュータに実行させるための付記５に記載の合焦制御プログラム。

１０ スマートデバイス
１２ 取得部
１６ 移動部
１８ 屋外判定部
６０ ＣＰＵ
６２ １次記憶部
６４ ２次記憶部
７４ タッチパネルディスプレイ
７６ カメラ

Claims (4)

1. 光軸方向のレンズの位置が互いに異なる複数の第１フレームの画像データを取得する取得部と、
   前記複数の第１フレームの合焦対象領域のコントラスト評価値に基づいて前記レンズの合焦位置が決定されない場合に、前記複数の第１フレーム、又は、前記取得部によって新たに取得された複数の第２フレームの画像データの各々における合焦対象領域内のコントラスト評価値の大きさ及びコントラスト評価値が所定の閾値以上の領域の位置に基づいて合焦対象領域を移動する方向を決定し、決定した方向に合焦対象領域を移動させる移動部と、
   を含む合焦制御装置。
2. 前記移動部によって前記合焦対象領域を移動する方向が決定されない場合に、前記合焦対象領域の画像データが屋外の画像データであるか否か判定する屋外判定部、をさらに含み、
   前記移動部は、前記屋外判定部が、前記合焦対象領域の画像データが屋外の画像データであると判定した場合、前記合焦対象領域の位置を被写体の重力加速度方向へ移動させる、
   請求項１に記載の合焦制御装置。
3. 前記屋外判定部が、前記合焦対象領域の画像データが屋外の画像データではないと判定した場合、前記移動部は、前記合焦対象領域の面積を拡大させる、
   請求項２に記載の合焦制御装置。
4. 光軸方向のレンズの位置が互いに異なる複数の第１フレームの画像データを取得し、
   前記複数の第１フレームの合焦対象領域のコントラスト評価値に基づいて前記レンズの合焦位置が決定されない場合に、前記複数の第１フレーム、又は、新たに取得された複数の第２フレームの画像データの各々における合焦対象領域内のコントラスト評価値の大きさ及びコントラスト評価値が所定の閾値以上の領域の位置に基づいて合焦対象領域を移動する方向を決定し、決定した方向に合焦対象領域を移動させる、
   処理をコンピュータに実行させるための合焦制御プログラム。