JP6495451B2

JP6495451B2 - 方向認識オートフォーカス

Info

Publication number: JP6495451B2
Application number: JP2017525862A
Authority: JP
Inventors: マ、レイ; デン、ファン; チャン、リョン・チュン
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2014-11-14
Filing date: 2015-10-13
Publication date: 2019-04-03
Anticipated expiration: 2035-10-13
Also published as: EP3218756B1; JP2018500587A; US9716822B2; WO2016077006A1; CN106922181A; US20160142616A1; CN106922181B; EP3218756A1

Description

[0001] 本実施形態は、撮像デバイス、特に、撮像デバイスのオートマチックフォーカスのための方法および装置に、関する。

[0002] 撮像デバイスを有するデジタル処理技術の統合は、より効果的および簡単に写真製品を使用することを可能にしている。例えば、撮像デバイスのシャッター速度、絞り、およびセンサ感度をデジタル的に制御する能力は、撮影者が各環境に対するこれらのパラメータを手動で決定および設定することの必要性無しに、様々な撮像環境における改善された画質を提供している。

[0003] オートマチックフォーカス能力を有する撮像デバイス（その撮像デバイスおよび方法は本明細書では「オートフォーカス」と単に称され得る）はまた、大部分の撮像環境において、ほとんど全ての撮影者が、スキルに関わらず、きれいな画像を取得することを可能にすることによって、高い品質の写真をより簡単にキャプチャすることができる。オートフォーカスはまた、熟練の撮影者の作業負荷を削減している。これは、これらの撮影者によって作成される写真の品質における対応する増加を伴って、撮影者に、より一層のエネルギーを彼らの仕事の創造的態様にフォーカスさせることができ得る。

[0004] 既存のオートフォーカス探査動作は、いくつかの問題をもたらし得る。例えば、最適なレンズ位置の探査時間は、近くおよび遠くの両方の方向において探索しなければならない撮像デバイスに起因してより長くなり得、それゆえ、適切にフォーカスされた画像がキャプチャされ得る前において遅延がもたらされる。これにより、失敗したオートフォーカスの割合が増加し得、および、ユーザは、次第により鮮明なフォーカスを受ける代わりに、オートフォーカス探査動作の始動でのデフォーカスのために、望ましくない経験を有し得る。結果として、オートフォーカス探査動作中において、ユーザは、わずかにフォーカスがずれている画像を見得、オートフォーカス探査動作はその後、撮像デバイスが正しくない方向において探査する間にますますデフォーカスされる画像を生じ得、および、ついには、撮像デバイスは、最適なフォーカス位置を配置することに対して反対の方向に探査し得る。この影響を取り除くおよびオートフォーカス探査動作中に必要とされる時間を最小限にする必要性が、残る。

[0005] 本開示のシステム、方法、およびデバイスはそれぞれ、いくつかの革新的な様態を有し、これらのうちの何れも、本明細書で開示される所望の属性を単独で担うものではない。本明細書で説明されるイノベーション、態様および特徴の組合せは、システム、方法、およびデバイスの様々な実施形態に組み込まれることができ、および、それらの組合せは、本明細書で説明される実施形態の例によって限定されず、以下で説明される概要を含んでいる。

[0006] いくつかの実施形態は、より早くおよびより鮮明なフォーカスを取得するために、撮像デバイスのレンズを最初にどの方向に動かすかを決定することによって、撮像デバイスをフォーカスする方法を含み得る。この方法は、撮像デバイスでシーンを描写する複数のフレームをキャプチャすること、および、表示されたフレームにおけるオブジェクトに対応する少なくとも１つのフレームの一部を選択することを含み得る。いくつかの実施形態において、オブジェクトに対応する少なくとも１つのフレームの一部を選択することは、複数のフレームのうちの少なくとも１つを表示すること、および、表示されたフレームにおけるオブジェクトに対応する表示されたフレームの一部を選択するためにユーザ入力を受信することを、含むことができる。その方法はまた、複数のフレームにおけるオブジェクトをトラッキングすることを含み、ここで、オブジェクトをトラッキングすることは、複数のフレームの各々のためのオブジェクトの参照パラメータを提供する。その方法はさらに、複数のフレームのうちの少なくとも第１のフレームと第２のフレームとの間の参照パラメータにおける変更を検出すること、および、参照パラメータにおける変更に基づいてフォーカス方向を決定すること、を含む。その方法はまた、決定されたフォーカス方向に基づいて撮像デバイスのレンズを動かすことによって、フォーカス動作を開始することを含む。

[0007] いくつかの実施形態において、参照パラメータは、それが描写されるフレームに関連してオブジェクトのサイズに対応することができる。これに関して、複数のフレームにおけるオブジェクトをトラッキングすることは、第１のフレームにおけるオブジェクトのサイズを検出すること、および、第２のフレームにおけるオブジェクトのサイズを検出すること、を含むことができ、ここで、第２のフレームは、第１のフレームをキャプチャすることの後にキャプチャされた複数のフレームのうちの１つである。いくつかの実施形態において、参照パラメータにおける変更は、第１のフレームにおけるオブジェクトのサイズと第２のフレームにおけるオブジェクトのサイズとの間の差であることができる。

[0008] 他の実施形態において、方法は、複数のフレームにおけるオブジェクトの各描写に関してオブジェクトを取り囲むバウンディング矩形を決定することを、含むことができる。これらの実施形態において、各フレームのための参照パラメータは、バウンディング矩形の次元に基づくことができる。いくつかの実施形態において、各フレームのための参照パラメータは、バウンディングボックスのｘ−次元、バウンディング矩形のｙ−次元、または、バウンディング矩形の対角線のうちの１つに基づくことができる。

[0009] いくつかの実施形態において、方法は、完了したオートフォーカス探査動作を、以下のように遂行されることができる。これらの実施形態において、先のオートフォーカス探査動作の完了の後、参照パラメータにおける変更を検出することは、先のフォーカス動作からの複数のフレームのうちの最後のフレームを識別すること、および、先のオートフォーカス探査動作からの最後のフレームの参照パラメータを決定すること、を含むことができる。方法はまた現在のオートフォーカス探査動作のための第１のフレームの参照パラメータを、先のオートフォーカス探査動作からの最後のフレームの参照パラメータとなるように設定することを含むことができる。

[0010] 別の実施形態において、参照パラメータにおける変更を検出することは、参照パラメータ変更のセットを生成するために、第１のフレームの参照パラメータを、第１のフレームの後にキャプチャされた各フレームの参照パラメータと比較することを含むことができる。参照パラメータ変更のセットはその後、調整されることができる。一実施形態において、参照パラメータ変更のセットを調整することは、参照パラメータ変更のセットを平滑化することを備える。さらに別の実施形態において、参照パラメータ変更のセットを平滑化することは、参照パラメータ変更のセットにフィルタを適用することを含むことができ、フィルタは、複数のフレームのための第１のフレームと各後続のフレームとの間の参照パラメータ変更のセットにおけるノイズを削減するように構成されることができる。

[0011] いくつかの実施形態において、方法は、第１のフレームおよび第１のフレームの後にキャプチャされた各フレームの参照パラメータの間の差のトレンドを示す参照パラメータ変更インジケータを、生成することを含み得る。一実施形態において、参照パラメータ変更インジケータは、各フレームの参照パラメータ間の差のトレンドが、第１のフレームの参照パラメータに関連して増加する時、オブジェクトが撮像デバイスにより近づいていることを指し示すことができる。別の実施形態において、参照パラメータ変更インジケータは、各フレームの参照パラメータ間の差のトレンドが、第１のフレームの参照パラメータに関連して減少する時、オブジェクトが撮像デバイスからさらに離れていることを指し示すことができる。

[0012] 一実施形態において、フォーカス方向を決定することは、第１の境界値および第２の境界値を有するしきい値を決定することを、含むことができる。参照パラメータにおける変更は、第１の境界値および第２の境界値と比較され得、および、参照パラメータにおける変更がしきい値の第１の境界値より大きい、またはしきい値の第２の境界値より小さい時のみに、フォーカス方向が決定されることができる。いくつかの実施形態において、第１および第２の境界値は、撮像デバイスに関連してオブジェクトの位置に対応することができる。別の実施形態において、第１および第２の境界値は、動的であることができ、別個のフォーカシング動作に関して調整されるように構成されることができる。いくつかの実施形態において、フォーカス方向は、各フレームの参照パラメータにおける変更が第１のフレームの参照パラメータに関連して増加し、参照パラメータにおける変更がしきい値の第１の境界値より大きい時、より近いと決定されることができる。フォーカス方向がより近いと決定された時、フォーカス動作は、オブジェクトから離れるようにレンズを動かすことによって開始され得る。他の実施形態において、フォーカス方向は、各フレームの参照パラメータにおける変更が第１のフレームの参照パラメータに関連して減少し、参照パラメータにおける変更がしきい値の第２の境界値より小さい時、さらに離れていると決定されることができる。フォーカス方向がさらに離れていると決定された時、フォーカス動作は、オブジェクトに向かってレンズを動かすことによって開始されることができる。いくつかの実施形態において、第１の境界値は、しきい値の上限の境界値に対応することができ、第２の境界値は、しきい値の下限の境界値に対応することができる。

[0013] 別の態様によれば、撮像デバイスをフォーカスさせる方向を決定するための装置が、開示される。装置は、レンズ、シーンを描写する複数のフレームをキャプチャするように構成されたイメージセンサ、イメージセンサおよびレンズに動作可能に結合されたプロセッサ、および、プロセッサに動作可能に結合されたメモリを、含む。メモリは、入力処理モジュール、オブジェクトトラッキングモジュール、参照パラメータ決定モジュール、変更決定モジュール、および、オートフォーカス制御モジュールを記憶するように構成される。入力処理モジュールは、オブジェクトに対応する少なくとも１つのフレームの一部を選択するように構成される。オブジェクトトラッキングモジュールは、複数のフレームにおけるオブジェクトをトラッキングするように構成される。

[0014] 参照パラメータ決定モジュールは、複数のフレームのトラッキングに基づいて、複数のフレームの各々のためにオブジェクトの参照パラメータを決定するように構成される。いくつかの実施形態において、参照パラメータ決定モジュールはさらに、複数のフレームにおけるオブジェクトの各描写に関してオブジェクトを取り囲む関心領域を決定するように構成されることができ、ここで、各フレームのための参照パラメータは、関心領域の少なくとも１つの次元に基づく。別の実施形態において、参照パラメータ決定モジュールはさらに、先のフォーカス動作の完了の後、先の動作からの複数のフレームのうちの最後のフレームを識別し、先のフォーカス動作からの最後のフレームの参照パラメータを決定し、現在のフォーカス動作のための第１のフレームの参照パラメータを先のフォーカス動作からの最後のフレームの参照パラメータとなるように設定するように構成されることができる。

[0015] 変更決定モジュールは、複数のフレームのうちの少なくとも第１のフレームと第２のフレームとの間の参照パラメータにおける変更を検出するように構成される。いくつかの実施形態において、参照パラメータにおける変更は、第１及び第２のフレームの参照パラメータの間の差であることができる。他の実施形態において、変更決定モジュールはさらに、第１のフレームの参照パラメータと第１のフレームの後にキャプチャされた各フレームの参照パラメータとの間の参照パラメータにおける複数の変更を含んでいる参照パラメータ変更のセットを生成するように構成されることができる。変更決定モジュールはさらに、参照パラメータ変更のセットを平滑化するように、参照パラメータ変更のセットを調整し、第１のフレーム及び第１のフレームの後にキャプチャされた各フレームの参照パラメータの間の差のトレンドを示すパラメータ変更インジケータを生成するように構成されることができる。いくつかの実施形態において、パラメータ変更インジケータは、各フレームの参照パラメータの間の差のトレンドが、第１のフレームの参照パラメータに関連して増加する時、オブジェクトが撮像デバイスにより近づいていることを指し示すことができる。他の実施形態において、パラメータ変更インジケータは、各フレームの参照パラメータの間の差のトレンドが、第１のフレームの参照パラメータに関連して減少する時、オブジェクトが撮像デバイスからさらに離れていることを指し示すことができる。

[0016] いくつかの実施形態において、メモリはさらに、しきい値決定モジュールを記憶するように構成されることができる。しきい値決定モジュールは、撮像デバイスに関連してオブジェクトの位置に基づいて第１及び第２の境界値を有するしきい値を決定するように構成され、参照パラメータにおける変更を第１の境界値および第２の境界値と比較するように構成されることができる。

[0017] オートフォーカス制御モジュールは、参照パラメータにおける変更に基づいてフォーカス方向を決定し、フォーカス方向に基づいてレンズを動かすことによってフォーカス動作を開始するように構成される。いくつかの実施形態において、オートフォーカス制御モジュールは、参照パラメータにおける変更が第１の境界値より大きく、または、第２の境界値より小さい時のみ、フォーカス方向を決定するように構成される。

[0018] 別の態様によれば、撮像デバイスをフォーカスさせる方向を決定するための装置が、開示される。装置は、シーンを描写する複数のフレームをキャプチャするための手段、オブジェクトに対応する少なくとも１つのフレームの一部を選択するための手段、および、複数のフレームにおけるオブジェクトをトラッキングするための手段、を含む。装置はまた、複数のフレームのトラッキングに基づいて複数のフレームの各々のためのオブジェクトの参照パラメータを決定するための手段、および、複数のフレームのうちの少なくとも第１のフレームと第２のフレームとの間の参照パラメータにおける変更を検出するための手段、を含む。装置はさらに、参照パラメータにおける変更に基づいてフォーカス方向を決定する手段、および、フォーカス方向に基づいてレンズを動かすことによってフォーカス動作を開始するための手段を、含む。

[0019] 別の態様によれば、実行時にプロセッサにフォーカス動作を開始する方法を遂行させるそれ上に記憶された命令を有する非一時的コンピュータ可読媒体が、開示される。実行されるコードによって遂行される方法は、撮像デバイスでシーンを描写する複数のフレームをキャプチャすること、および、表示されたフレームにおけるオブジェクトに対応する少なくとも１つのフレームの一部を選択すること、を含む。方法はまた、複数のフレームにおけるオブジェクトをトラッキングすること、ここで、オブジェクトをトラッキングすることは複数のフレームの各々に対してオブジェクトの参照パラメータを提供し、および、複数のフレームのうちの少なくとも第１のフレームと第２のフレームとの間の参照パラメータにおける変更を検出することを、含む。方法はさらに、参照パラメータにおける変更に基づいてフォーカス方向を決定すること、および、フォーカス方向に基づいて撮像デバイスのレンズを動かすことによってフォーカス動作を開始すること、を含む。

[0020] 開示される態様は、開示される態様を限定するためでなく例示するために提供される添付図面と併せて以下で説明されることになり、ここにおいて、同様の表記は同様の要素を示す。
[0021] 図１は、撮像デバイスが正しい方向においてオートフォーカス探査動作を開始する場合の一例を例示する。 [0022] 図２Ａは、撮像デバイスが正しくない方向においてオートフォーカス探査動作を模倣する場合の一例を例示する。 [0023] 図２Ｂは、オートフォーカス探査動作図２Ａの図式的な表現を描写する。 [0024] 図３は、オートフォーカス制御モジュールを含む撮像デバイスのブロック図である。 [0025] 図４Ａは、一実施形態に応じた選択オブジェクトの少なくとも１つの参照パラメータにおける変更を、例示する。図４Ｂは、一実施形態に応じた選択オブジェクトの少なくとも１つの参照パラメータにおける変更を、例示する。図４Ｃは、一実施形態に応じた選択オブジェクトの少なくとも１つの参照パラメータにおける変更を、例示する。 [0026] 図５は、一実施形態に応じた参照パラメータに基づいたフォーカス方向の決定を例示する。 [0027] 図６は、一実施形態に応じた方向判定の動的なしきい値を例示するグラフである。 [0028] 図７は、一実施形態に応じたオートフォーカス探査動作の方向を決定するプロセスのフローチャートである。 [0029] 図８は、一実施形態に応じたオブジェクトのトラッキングを開始するプロセスのフローチャートである。 [0030] 図９は、一実施形態に応じたオートフォーカス探査動作を開始するプロセスのフローチャートである。

[0031] 以下の説明において、特定の詳細が例についての完全な理解を提供するために与えられる。しかしながら、これら例がこれらの特定の詳細なしで実施され得ることは、当業者によって理解されるであろう。例えば、これら例を不必要な詳細で不明瞭にしないように、電気コンポーネント／デバイスはブロック図で示され得る。他の事例において、このようなコンポーネント、他の構造および技法が、これら例をさらに説明するために詳細に示され得る。

[0032] また、これら例は、プロセスとして説明され得、それは、フローチャート、フロー図、有限状態図、構造図、またはブロック図として描写される、ということに留意されたい。フローチャートは、一連のプロセスとして動作を説明し得るが、これら動作の多くは並列または同時に実行されることができ、また、プロセスは繰り返されることができる。加えて、動作の順序は再配置され得る。プロセスは、その動作が完了された時に終了される。プロセスは、方法、機能、プロシージャ、サブルーチン、サブプログラム、等と対応し得る。プロセスがソフトウェアの機能と対応する時、その終了は、呼び出し機能または主要機能への機能の復帰に対応する。

[0033] 当業者は、情報および信号が様々な異なる技術および技法のいずれかを用いて表され得ることを理解するであろう。例えば、上記説明の全体にわたって参照され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、およびチップは、電圧、電流、電磁波、磁場または磁性粒子、光場または光粒子、あるいはこれらの任意の組み合わせによって表され得る。

[0034] オートフォーカスすることは、様々なタイプのアクチュエータによって、画像デバイスにおいて遂行され得る。カメラは、フォーカスを有効にするために可動範囲内において動かすレンズを用いて、イメージセンサ上にシーンをフォーカスする。オートフォーカス撮像デバイスは、ボイスコイルモータ（ＶＣＭ）、圧電、又はＭＥＭＳソリューションを使用して、レンズを動かす。

[0035] 様々なオートフォーカス(「ＡＦ」)方法は、方向および機械的移動がレンズをどの程度動かすかを決定するために、現代的なデジタル撮像デバイスにおいて、使用され得る。例えば、高いコントラストを有する画像は、より鮮明なフォーカスを有する傾向であり得るため、いくつかのオートフォーカス方法は、最も高いコントラストを有する画像を提供するフォーカス位置を、探し求める。これは、フォーカス値アルゴリズムとして知られ得る、ここで、異なるレンズ位置でのフォーカス値は、どの画像が最も高いコントラストを有するか決定するために比較される。オートフォーカス方法の別の例は、オブジェクト深さ推定に基づき、ここで、そのアルゴリズムは、撮像デバイスからのターゲットオブジェクトの推定された深さまたは配置に基づいて、推定された位置にレンズを直接的に移動する。推定における信頼性に基づいて、オートフォーカスに基づく最小のコントラストが、使用され得る。しかしながら、最適なフォーカスに対する最適なレンズ位置、または、最適なフォーカス位置が、知られていない時において、撮像デバイスは、またはフォーカス値、オートフォーカス方法に基づくコントラストを使用する。最適なレンズ位置は、最大フォーカス値または最高コントラスト値をもたらすレンズ位置を参照する。

[0036] フォーカス値法のいくつかの実施形態は、フォーカスされるべきターゲットオブジェクトの未知の最適なレンズ位置でスタートし得る。オートフォーカスをスタートするために、アルゴリズムはまず、最適なレンズ位置を、探査する。探査は、連続するサンプルを取得するために、レンズを移動する方向を選択することによって始動する。アルゴリズムは、連続するサンプルを取り出し、サンプルを比較し、およびより高いコントラストを有するサンプルに基づいてフォーカス位置方向を決定する。

[0037] オートフォーカス探査動作の開始時にターゲットオブジェクトに対する最適なフォーカス位置の知識の不足が存在するため、探査をスタートする方向に関する判定は、困難な判定である。いくつかの実施形態において、方向判定は、現在のレンズ位置および定義済みの境界に部分的に基づく。定義済みの境界は、撮像デバイスに関連するオブジェクトの配置の範囲であることができる。境界は、撮像デバイスに近い距離と無限遠との間の範囲であり得る。定義済みの境界が異なる撮像デバイスに対して変化することができるということに気づかれるべきである。一般に、近い位置は、カメラから約１０センチメートルであり、無限遠の位置は、カメラから約２００センチメートル以上である。実際の最適なレンズ位置の認識の欠如および判定の結果として、レンズを動かすための正しい方向を選択する全体の成功率は、おおよそ５０％である。

[0038] いくつかのオートフォーカス方法は、ある撮像環境において、妥当なフォーカスを成し遂げることができないことを被り得る。例えば、イメージセンサから異なる距離で画像の範囲内に複数のオブジェクトが存在する撮像環境は、複数のオブジェクトのうちのどの１つのオブジェクトまたは複数のオブジェクトがフォーカスのために選択されるべきであるか決定するためのオートフォーカス方法を困難にする場合がある。他の撮像環境は、運動中のオブジェクトを含み得る。運動内のオブジェクトは、伝統的なオートフォーカス方法によって認識されない場合がある。これは、本明細書で開示される方法に比較される時、劣ったフォーカスをもたらし得る。

[0039] 本明細書で説明される実施形態は、撮像デバイスのオートフォーカス探査動作におけるレンズを動かすための第１の方向を決定するように構成された、方法、装置、およびコンピュータ可読媒体を含む。いくつかの実施形態において、その方法は、ＡＦ動作のスタートでレンズを動かすための初期フォーカス方向を決定することができる方法及び画像キャプチャデバイスを対象にされ得る。フォーカス方向を決定することによって、撮像デバイスのレンズは、オブジェクトのより鮮明なフォーカスを提供する適切な方向に動かされることができる。これは、ＡＦ速度および全体の精度において潜在的な改善をもたらし得、それによって、画像キャプチャデバイスにおける画質が、改善する。したがって、一実施形態は、ＡＦ動作の開始中におけるフォーカス方向を決定するためのソフトウェアソリューションを、導入する。

[0040] 方法および装置のいくつかの実施形態において、フォーカス方向は、参照パラメータにおける変更に基づき得る。そのような実装形態において、撮像デバイスは、選択オブジェクトの複数の画像又はフレームをキャプチャするように構成され得る。オブジェクトはその後、トラッキングデータを提供するための複数のフレームを通じて、撮像デバイスのトラッキングモジュールを介して、トラッキングされることができる。トラッキングモジュールは、パッケージトラッキング、レーザトラッキング等のような技術を含み得る。例えば、トラッキングモジュールは、クゥアルコム・テクノロジーズ・インコーポレイテッドによって開発されたタッチ‐トゥ‐トラック（Touch-to-Track）（登録商標）を実現し得る。方法および装置は、オブジェクトの参照パラメータにおける変更をモニタするために、トラッキング情報を使用する。例えば、オブジェクトの参照パラメータは、複数のフレームにおいてトラッキングされ、参照パラメータが複数のフレーム内で変化しているかどうか決定するために、以前の参照パラメータと比較され得る。参照パラメータは、オブジェクトのサイズに関連することができ、それによってオブジェクトのサイズは、連続するフレーム間で変更し得る。一実装形態において、オブジェクトのサイズにおける増加は、オブジェクトが撮像デバイスにより近づいていることを指し示し得る。撮像デバイスは、参照パラメータにおける変更に基づいて、フォーカス方向を抽出するように構成されることができる。例えば、オブジェクトが、撮像デバイスにより近づいていると決定された時、フォーカス方向は、撮像デバイスのアクチュエータにオブジェクトから離れるようにレンズを動かすことを決定されることができ、それによって、より鮮明なフォーカスを提供する。加えて、オブジェクトが、撮像デバイスからさらに離れて動いていると決定される時、フォーカス方向は、撮像デバイスのアクチュエータにオブジェクトに向かってレンズを動かすことを決定されることができ、それよって、より鮮明なフォーカスを提供する。

[0041] いくつかの実施形態において、移動方向推定は、参照パラメータにおける変更に基づいて、抽出されるまたは導出され得る。例えば、撮像デバイスは、シーンにおける各オブジェクトの移動の方向を推定することが可能となり得る。オブジェクトの移動は、近い、例えば撮像デバイスにより近づく、または、遠い、例えば撮像デバイスからさらに離れる、のどちらかであり得る。移動の推定された方向は、オートフォーカス撮像デバイスに提供され得、および、撮像デバイスに関連する移動方向に基づいて、撮像デバイスは、オートフォーカスプロセスの部分として、レンズを動かすための適した方向を、決定することができる。撮像デバイスは、１つの方向におけるレンズ位置のみが探査されるであろうから、選択オブジェクト上にフォーカスするための最適なレンズ位置について探査するための時間を減少することが可能となり得る。撮像デバイスは、正しくない決定が最初になされた場合、逆戻りしなければならないことを回避するであろう。撮像デバイスは、ユーザの経験、探査速度、およびオートフォーカス撮像デバイスの成功率を最適化するために、選択オブジェクトの移動方向を利用し得る。

[0042] いくつかの実施形態において、選択オブジェクトの移動方向推定は、参照パラメータのそのトラッキングから抽出されることができる。一実装形態において、オブジェクトトラッキングは、参照パラメータにおける変更又はオブジェクトサイズにおける変更の指示を含み得る参照パラメータに関連づけられた情報を、戻し得る。一実装形態において、サイズは、連続する画像間の関連する参照パラメータ情報に基づき得る。個々のサイズ決定は信頼性が低くなる場合があり、それゆえ、撮像デバイスは、オブジェクトの参照パラメータがどのように変化しているかのより信頼できる決定を確立するために、全体の参照パラメータ変更トレンドを使用し得る。撮像デバイスは、信頼可能な変更トレンドを出力するために、トラッキングされた参照パラメータにメディアンフィルタを適用し得、ここで、トラッキング情報は、トラッキングされたオブジェクトを表している有界なボックスを含み得る。一実装形態において、メディアンフィルタは、画像又は信号におけるノイズ削減を遂行することが可能なフィルタであり得る、ここで単一のフレームに対応する１つのエントリの信号は、近隣エントリの中央値に取り換えられる。一実装形態において、５の長さを有する一次元メディアンフィルタは、ノイズを抑制するためにトラッキング情報の幅で、使用され得、その結果、メディアンフィルタは、インスタントエントリを５つの近隣エントリの中央値で置き換え得る。いくつかの実施形態において、近隣エントリは、インスタントエントリに先行するエントリを含む。他の実施形態において、近隣エントリは、インスタントエントリに続くエントリを含む。さらに他の実施形態において、近隣エントリは、インスタントエントリに続くおよび先行する両方のエントリを含む。参照パラメータ変更トレンドは、オブジェクトの移動の平均または全体の方向を指し示し得る。方法および装置はその後、上述のように、移動の決定された方向に基づいて、オートフォーカス探査動作を開始するために、レンズを動かすための方向を決定し得る。当該の方法は、オートフォーカス探査動作のスタート方向を決定するためのフォーカス値法を使用する方法に比較して、トラッキングされたオブジェクトの顕著に高速なおよび平滑なフォーカスを可能にし得る。

[0043] 方法及び装置のいくつかの実施形態において、移動方向を判定するための動的なしきい値が、提供され得る。参照パラメータ情報は、選択オブジェクトの物理的距離に対してマッピングされ得る。これから、レンズをどの方向に動かすかの判定は、オブジェクトが参照パラメータから導出されるような物理的にどこに配置されているかの決定に基づき得る。方向判定は、オブジェクトが、さらに離れてまたは画像デバイスから離れて、物理的に配置される時に、感度が低くなり得る。方向判定は、オブジェクトが、より近いまたは画像デバイスに対して近くに物理的に配置される時に、感度が高くなり得る。

[0044] 一実装形態において、方向情報のためにトラッキングされている選択オブジェクトは、プレビューモードにおいて、撮像デバイスのディスプレイ上で、視認可能であり得る。撮像デバイスのディスプレイは、望ましい画像を並べるために画像デバイスのユーザに対して選択オブジェクトのプレビューを提供し得る。例えば、撮像デバイスのディスプレイは、オートフォーカス探査動作の前にシーン全体のフレームを描写し得、および、ディスプレイ内の第２のウィンドウ(例えば、ピクチャ−イン−ピクチャウィンドウ（picture-in-picture window）)は、トラッキングされたオブジェクトをプレビューするために提供され得る。このプレビュー段階中において、撮像デバイスは、撮像デバイスがフォーカス方向情報を導出し得る参照パラメータにおける変更を獲得するために、オブジェクトをトラッキングすることを始動し得る。

[0045] 別の実装形態において、オートフォーカス探査動作は、オートフォーカス探査動作の始動からより鮮明なフォーカスにより次第に改善し得る。このような方法において、撮像デバイスは、より最近の移動において、最適なレンズ位置へのより大きなステップおよび段階的なステップを通じて、最適なレンズ位置を探査し得る。より大きなステップは、各連続するステップ間のより大きなコントラスト値を提供し得る、それによって、間違った方向のオートフォーカス探査動作の過程を制限する。

[0046] 図１は、撮像デバイスが正しい方向におけるオートフォーカス探査動作を開始する場合における、実施形態の一例を例示する。撮像デバイスは、第１の及び／またはスタートを有するレンズ１０５を含む。図１に示されるオートフォーカス探査動作において、撮像デバイスのユーザは、最適なレンズ位置１１５を有するシーンまたはオブジェクト(図示されず)の画像をキャプチャすることを望み得る。図１に例示される状況において、撮像デバイスは、撮像デバイスの光軸１１０に沿うスタート方向１２０において、レンズ１０５を動かすことによって、オートフォーカス探査動作を始動し、それは最適なレンズ位置１１５に向かってである。

[0047] 図２Ａは、撮像デバイスが正しくない方向におけるオートフォーカス探査動作を開始する場合における、実施形態の別の例を例示する。図２Ａは、レンズ１０５がスタート位置を有しおよび光軸１１０に沿ってスタート方向２２０を動かされるということにおいて、図１に類似する。しかしながら、図２Ａは、スタート方向２２０の反対の方向に配置された最適なレンズ位置２１５を含む。この状況において、レンズ１０５はまず、最適なレンズ位置２１５から離れて、スタート方向２２０において動かされる。撮像デバイスは、それが、方向−検出境界２２５に達するまでレンズ１０５を動かし、その時点で、撮像デバイスは、スタート方向２２０が正しくなかったと決定する。スタート方向２２０が正しくなかったと決定されると、撮像デバイスは、レンズ１０５をスタート位置に向かって戻し、最適なレンズ位置２１５に向かってまた動かす。それゆえ、撮像デバイスは、当初の正しくない方向２２０に動かさなければならないだけでなく、撮像デバイスは、スタート位置に戻るように、２回同じ距離にわたってレンズ１０５を動かし、その後、最適なレンズ位置２１５に達すために必要な距離を進まなくてはならない。その結果は、オートフォーカス探査動作が、それが付加的なおよび不必要な移動を有するために遂行するための時間のより多くの量がかかり、撮像デバイスのユーザが、最適なレンズ位置２１５から離れる正しくない移動中においてデフォーカスされた画像を経験する、ということである。

[0048] 図２Ｂは、図２Ａのオートフォーカス探査動作を描写する。図２Ｂは、図２Ａに類似するアプローチを例示する。図２Ｂは、曲線２３０として例示される、レンズ位置の関数としてのフォーカス値を、グラフを使って例示する。フォーカス値は、画像コントラスト測定であり得る、ここで、より鮮明なフォーカスは、より高いコントラストによって表される。それゆえ、最適なレンズ位置２１５は、最も高いフォーカス値２１６が存在する場所で示される。図２Ａと同様に、レンズ１０５のスタートレンズ位置は、図２Ｂの曲線２３０の尾部上に、配置される。撮像デバイスが正しくないスタート方向２２０においてレンズを動かす時、各連続する画像のフォーカス値は、本質的に同じであり、それゆえ、撮像デバイスは、最適なフォーカスがどの方向に配置されるかを決定することが不可能である。このような典型的なフォーカス値は、デフォーカスされた画像のフォーカス値が各レンズ位置間で実質的に類似するため、撮像デバイスを故障させる場合があった。撮像デバイスは、撮像デバイスがレンズを動かす方向を反転すべきかどうかを決定するために、各レンズ位置間のフォーカス値の比較において信頼を有さない。撮像デバイスは、現在のレンズ位置を取り囲んでいるレンズ位置間のフォーカス値の比較からレンズをどの方向に動かすかを決定することができない。それゆえ、撮像デバイスは、周囲のレンズ位置のフォーカス値の類似のため無制限に、正しくない方向、例えば、方向２２０において、レンズを動かすことを継続する場合がある。正しくない方向において継続されたレンズ移動について訂正するために、撮像デバイスは、上述のように、方向判定境界２２５を用い得、その時点で、撮像デバイスは、レンズを当初の距離にわたってスタート位置に向かって戻して動かさせ得る。

[0049] 図３は、オートフォーカス制御機能性を含む撮像デバイス３００の実施形態を例示するブロック図の一例である。撮像デバイス３００は、イメージセンサ３１４、レンズ３１０、アクチュエータ３１２、ワーキングメモリ３７０、ストレージ３７５、ディスプレイ３８０及び入力デバイス３９０に動作的に接続されたプロセッサ３０５を含む。加えて、プロセッサ３０５は、メモリ３２０に接続される。メモリ３２０は、撮像デバイス３００の機能を遂行するようにプロセッサ３０５を構成するための命令を定義しているデータ値を記憶するいくつかのモジュールを、記憶する。メモリ３２０は、レンズ制御モジュール３２５、オブジェクトトラッキングモジュール３４０、およびオートフォーカス制御モジュール３６０、およびオペレーティングシステム３６５を含む。撮像デバイス３００はまた、入力処理モジュール３３０、参照パラメータ決定モジュール３３５、変更決定モジュール３４５、しきい値決定モジュール３５０、および参照パラメータ変更インジケータ決定モジュール３５５を含む。その一方で、図３は、オブジェクトトラッキングモジュール３４０の独立した多数のモジュールを例示し、それは、示されるいずれかのモジュールが、オブジェクトトラッキングモジュール３４０の、個別かそれとも組合せのサブモジュールとして含まれ得ることを、理解されるであろう。

[0050] 実例となる実施形態において、光は、レンズ３１０に入り、および、イメージセンサ３１４上でフォーカスされる。一態様において、イメージセンサ３１４は、電荷結合デバイスを利用する。別の態様において、イメージセンサ３１４は、ＣＭＯＳ又はＣＣＤセンサのどちらかを使用する。レンズ３１０は、アクチュエータ３１２に結合され、アクチュエータ３１２によって動かされる。アクチュエータ３１２は、オートフォーカス探査動作中における一連の１つまたは動かすレンズ移動においてレンズ３１０を動かすように構成される。レンズ３１０が、その移動範囲の境界に達する時、レンズ３１０又はアクチュエータ３１２は、飽和された（saturated）と称され得る。レンズ３１０は、ボイスコイルモータ（ＶＣＭ）、マイクロ電気機械システム（ＭＥＭＳ）、または形状記憶合金（ＳＭＡ）を含む様々な方法およびコンポーネントのいずれかによって、作動させられ得る。

[0051] 図３の実施形態に例示されるディスプレイ３８０は、レンズ３１０を介してキャプチャされた画像およびフレームを表示するように構成され、デバイス３００の構成機能を実現するために、また利用され得る。一実装形態において、ディスプレイ３８０は、入力デバイス３９０を介して、撮像デバイスのユーザによって選択された１つ又は複数のオブジェクトを表示するように構成されることができる。

[0052] 入力デバイス３９０は、実装形態に応じた多くの形式を取り得る。いくつかの実装形態において、入力デバイス３９０は、タッチスクリーンディスプレイを形成するように、ディスプレイ３８０と統合され得る。他の実装形態において、入力デバイス３９０は、撮像デバイス３００上において、別個のキーまたはボタンを含み得る。これらのキーまたはボタンは、ディスプレイ３８０上に表示されるメニューのナビゲーションの入力を提供し得る。他の実装形態において、入力デバイス３９０は、入力ポートであり得る。例えば、入力デバイス３９０は、撮像デバイス３００に対する別のデバイスの動作的な結合を提供し得る。撮像デバイス３００はその後、入力デバイス３９０を介して、付属のキーボードまたはマウスからの入力を受け得る。

[0053] さらに図３の実施形態を参照して、ワーキングメモリ３７０は、撮像デバイス３００の動作中に動的に創出されたデータを記憶するように、プロセッサ３０５によって、利用され得る。例えば、メモリ３２０(後述される)内に記憶されるモジュールのいずれかからの命令は、プロセッサ３０５によって実行される時のワーキングメモリ３７０内に記憶され得る。ワーキングメモリ３７０はまた、プロセッサ３０５上で実行しているプログラムによって利用されるスタックまたはヒープデータのような、動的ランタイムデータを記憶し得る。ストレージ３７５は、撮像デバイス３００によって創出されたデータを記憶するために、利用され得る。例えば、レンズ３１０を介してキャプチャされた画像は、ストレージ３７５に、記憶され得る。

[0054] メモリ３２０は、コンピュータ可読媒体と見なされ得、いくつかのモジュールを記憶する。モジュールは、プロセッサ３０５に対する命令を定義するデータ値を、記憶する。これらの命令は、デバイス３００の機能を遂行するようにプロセッサ３０５を構成する。例えば、いくつかの態様において、メモリ３２０は、以下に説明されるようなおよび図７に例示されるような、プロセッサ３０５にプロセス７００またはその部分を遂行させる命令を記憶するように構成され得る。例示される実施形態において、メモリ３２０は、レンズ制御モジュール３２５、オブジェクトトラッキングモジュール３４０、およびオートフォーカス制御モジュール３６０、およびオペレーティングシステム３６５を含む。メモリ３２０はさらに、入力処理モジュール３３０、参照パラメータ決定モジュール３３５、変更決定モジュール３４５、しきい値決定モジュール３５０、および参照パラメータ変更インジケータ決定モジュール３５５を、含み得る。

[0055] 例えば、オペレーティングシステム３６５は、デバイス３００のハードウェアおよびソフトウェアリソースを管理するようにプロセッサ３０５を構成する命令を含む。

[0056] 図３の実施形態に例示されるレンズ制御モジュール３２５は、レンズ３１０を制御するようにプロセッサ３０５を構成する命令を含む。レンズ制御モジュール３２５における命令は、レンズ３１０に対するレンズ位置に影響するようにプロセッサ３０５を構成し得る。いくつかの態様において、レンズ制御モジュール３２５における命令は、画像をキャプチャするためのイメージセンサ３１４と共に、レンズ３１０を制御するようにプロセッサ３０５を構成し得る。したがって、センサ制御モジュール３２５における命令は、イメージセンサ３１４及びレンズ３１０を用いて、画像をキャプチャするための一手段を表し得る。

[0057] 入力処理モジュール３３０は、入力デバイス３９０からの入力データを読み取るようにプロセッサ３０５を構成する命令を含む。一態様において、入力処理モジュール３３０は、イメージセンサ３１４によってキャプチャされた画像フレームの範囲内のオブジェクトを検出するように、プロセッサ３０５を構成し得る。別の態様において、入力処理モジュール３３０は、入力デバイス３９０からのユーザ入力を受け、入力デバイス３９０のユーザの操作に基づいて、ユーザ選択または構成を識別するように、プロセッサ３０５を構成し得る。したがって、入力処理モジュール３３０における命令は、画像フレームの範囲内の１つ又は複数のオブジェクトを識別するためのまたは選択するための一手段を表し得る。

[0058] 参照パラメータ決定モジュール３３５における命令は、ユーザ選択オブジェクトに少なくとも部分的に基づいて、参照パラメータを決定するように、プロセッサ３０５を構成し得る。いくつかの態様において、参照パラメータは、オブジェクトの測定可能な特徴に基づき得る。例えば、参照パラメータは、キャプチャされた画像のフレームに関連してオブジェクトサイズに関連し得る。別の例において、参照パラメータは、選択オブジェクトを包囲するように構成される有界なボックスに関連し得、それによって有界なボックスの次元の少なくとも１つは、参照パラメータを定義する。したがって、参照パラメータ決定モジュール３３５における命令は、ユーザ選択オブジェクトに少なくとも部分的に基づいて、参照パラメータを決定するための一手段を表し得る。

[0059] オブジェクトトラッキングモジュール３４０における命令は、オブジェクトトラッキング能力を提供するように、プロセッサ３０５を構成し得る。いくつかの実施形態において、オブジェクトは、それがディスプレイ３８０のあちこちを移動するのでトラッキングされ得る。オブジェクトはディスプレイ３８０のあちこちを移動するので、参照パラメータ決定モジュール３３５は、トラッキングされた画像の各フレームのための参照パラメータを、継続的に決定し得る。いくつかの実施形態において、トラッキング撮像デバイスは、本開示と統合される。例えば、それのコンテンツがそれらの全体において本明細書に組み込まれる、米国特許第８，４８３，４３７号は、トレーニング（training）画像を使用する画像内のオブジェクトをトラッキングするための特徴を開示する、それのコンテンツがそれらの全体において本明細書に組み込まれる、米国特許出願公開第２０１３／０２５８１４１号明細書は、ビデオフレームにおけるオブジェクトを検出及びトラッキングし、誤検出を拒絶するための特徴を開示する、それのコンテンツがそれらの全体において本明細書に組み込まれる、米国特許出願公開第２０１４／０２０５１４１号明細書は、タッキング(tacking)結果を生成するためにビデオフレーム内のオブジェクトをトラッキングするための特徴を開示する、および、それのコンテンツがそれらの全体において本明細書に組み込まれる、米国特許第８，２４９，２９９号明細書は、ビデオ内のオブジェクトを識別するためのおよびトラッキングするための特徴を開示する。

[0060] いくつかの態様において、オブジェクトトラッキングモジュール３４０は、少なくともトラッキングされたオブジェクトの連続する画像フレーム間の参照パラメータに関連する情報を含むオブジェクトトラッキングデータを受けるようにプロセッサ３０５を構成し得る。したがって、オブジェクトトラッキングモジュール３４０における命令は、ユーザ選択オブジェクトをトラッキングするための一手段を表す。

[0061] 変更決定モジュール３４５における命令は、現在の参照パラメータおよび最後に保存された参照パラメータ(後述される)に少なくとも部分的に基づいて、参照パラメータにおける変更を決定するように、プロセッサ３０５を構成し得る。例えば、変更決定モジュール３４５は、イメージセンサ３１４によってキャプチャされた１つ又は複数の画像に基づいて、参照パラメータにおける変更を推定するための命令を含み得る。プロセッサ３０５は、参照パラメータ決定モジュール３３５からの以前の参照パラメータと現在の参照パラメータとを比較し、参照パラメータにおける変更を決定するための変更決定モジュール３４５内の命令を利用するように、構成され得る。したがって、変更決定モジュール３４５における命令は、参照パラメータにおける変更を決定するための一手段を表す。

[0062] いくつかの態様において、変更決定モジュール３４５は、オートフォーカス探査動作中において、連続する画像フレームにわたる参照パラメータにおける変更に少なくとも部分的に基づいて、参照パラメータ変更のセットを決定するように、プロセッサ３０５によって構成され得る。例えば、変更決定モジュール３４５は、最後に保存された参照パラメータと連続的にトラックキングされた画像フレームの各参照パラメータとの間の変更を決定するようにプロセッサ３０５を構成するための命令を、含み得る。したがって、変更決定モジュール３４５における命令は、参照パラメータ変更のセットを生成するための一手段を、表し得る。

[0063] しきい値決定モジュール３５０における命令は、撮像デバイスからのオブジェクトの距離に少なくとも部分的に基づいて、閾値を決定するようにプロセッサ３０５を構成し得る。例えば、オブジェクト距離は、オブジェクトと撮像デバイスのレンズとの間の物理的距離に基づき得、閾値は、所与のオブジェクト距離に対して相関し得る。オブジェクト距離は、レンズの位置の関数であり得、それによって、レンズ制御モジュール３２５からのレンズ位置を有する撮像デバイスは、オブジェクト距離を決定することができる。例えば、レンズ位置は、アクチュエータ位置に基づくような、撮像デバイスに対する固有の特性によって、決定され得る。一実施形態において、閾値は、動的であり、および、オブジェクトの距離に基づいて、各オートフォーカス探査動作について更新されることができる。

[0064] 別の実施形態において、閾値は、第１及び第２の境界値を含むことができる。例えば、しきい値は、参照パラメータにおける変更のパーセンテージを表し得、それによって、撮像デバイスは、参照パラメータが変更していること、および、検出された変更は外れ値または無関係なデータポイントでないことを高い信頼性で決定することができる。例えば、しきい値決定モジュール３５０は、第１及び第２の境界値を有する閾値を決定するように、プロセッサ３０５を構成し得る。プロセッサ３０５は、閾値を受け得、その後、参照パラメータにおけるパーセンテージ変更が、増加する又は減少する、第１及び／または第２の境界値の外側であるかどうか評価するように、しきい値決定モジュール３５０によって構成され得る。例えば、閾値が、オブジェクト距離に基づいて、０．１５または１５％の変化であると決定された場合、その後、第１のまたは上限境界は、参照パラメータにおいて１５％増加し、および、第２のまたは下限境界は、参照パラメータにおいて１５％減少するであろう。オートフォーカス制御モジュール３６０はその後、参照パラメータが、１５％までに変化される時のみ、オートフォーカス探査動作方向を決定するように、プロセッサ３０５を構成するであろう。したがって、しきい値決定モジュール３５０における命令は、第１および第２の境界を有する閾値を決定するための１つの手段を表し得る。

[0065] 一態様において、参照パラメータ変更インジケータ決定モジュール３５５における命令は、参照パラメータ変更のセットを受け、参照パラメータ変更インジケータを決定するように、プロセッサ３０５を構成し得る。一実施形態において、参照パラメータ変更インジケータは、参照パラメータ変更におけるトレンドであり、それは、複数の画像フレーム間の参照パラメータにおける平均的な変更を、表す。例えば、参照パラメータ変更のセットは、参照パラメータ決定モジュール３３５によって構成されるようなプロセッサ３０５によって、生成され得る。しかしながら、参照変更のセットは、連続する画像間の参照パラメータのあらゆるデータポイントを含み得、その結果、データポイントの大多数は、参照パラメータにおける減少を指し示し、しかし、セットは、参照パラメータにおける増加を指し示している外れ値を含み得る。一実施形態において、参照パラメータ変更インジケータ決定モジュール３５５における命令は、外れ値を完全に取り除くまたは無視するように、プロセッサ３０５を構成し得る。別の実施形態において、プロセッサ３０５は、連続する画像間の参照パラメータの変更における平均またはトレンドを決定するために、データセットを平滑化するためのフィルタ（例えば、メディアンフィルタ）を適用するように、構成され得る。したがって、参照パラメータ変更インジケータ決定モジュール３５５における命令は、参照パラメータにおける変更のトレンドまたは推定を決定するための一手段を表し得る。

[0066] オートフォーカス制御モジュール３６０は、レンズ３１０をオートフォーカスするようにプロセッサ３０５を構成する命令を含む。オートフォーカス制御モジュール３６０における命令は、レンズ３１０に対するレンズ位置に影響するように、プロセッサ３０５を構成し得る。一実施形態において、オートフォーカス制御モジュール３６０における命令は、他の入力パラメータと併せて、レンズ制御モジュール３２５に、レンズ位置情報を送り得る。レンズ位置情報は、変更決定モジュール３４５および／または参照パラメータ変更インジケータ決定モジュール３５５からの結果に少なくとも部分的に基づいて、現在のレンズ位置、ターゲットレンズ位置、およびオートフォーカス探査動作方向決定を含み得る。いくつかの態様において、オートフォーカス制御モジュール３６０における命令は、オートフォーカス探査動作を開始するための一手段を表し得る。いくつかの態様において、オートフォーカス制御モジュール３６０における命令は、参照パラメータにおける変更に少なくとも部分的に基づいて、オートフォーカス探査動作のためのレンズ移動の大きさおよび／または方向を決定するための一手段を表し得る。

[0067] 図４Ａ−４Ｃは、選択オブジェクトの少なくとも１つの参照パラメータにおける変更を、例示する。一実施形態は、次元４３０、４４０および４５０を各々有する複数のキャプチャされた画像(またはフレーム)４１０ａ（図４Ａ）、４１０ｂ（図４Ｂ）、および４１０ｃ（図４Ｃ）を通じたシーンを表示する表示ウィンドウ４００を有するデバイスが示されている。一実施形態において、次元４３０、４４０及び４５０は、それぞれ、表示されたシーンのｙ−次元、ｘ−次元、および対角線次元を表す。別の実施形態において、次元４３０、４４０及び４５０は、複数の画像４１０ａ、４１０ｂ及び４１０ｃの各々の間で、実質的に同じである。表示ウィンドウ４００は、ディスプレイ３８０上であり、または、ビデオカメラ、携帯電話、タブレット、コンピュータなどを含む、図３の撮像デバイス３００のようなデバイスからであり得る。いくつかの実施形態において、表示ウィンドウ４００は、撮像デバイスによってキャプチャされたまたは記録された画像を示し得る。

[0068] 表示ウィンドウは、選択オブジェクト４２０ｂを有する第１のシーン４１０ｂを、描写し、キャプチャし、および／または記録する、それは、参照オブジェクトと称され得る。図４Ｂの実例となる例において、関心オブジェクトは、猫として描写される。関心オブジェクトは、シーンまたは撮像デバイスにおいて撮像されることができる任意の数のアイテムであり得る。関心オブジェクト４２０ｂは、事例としては、タッチスクリーンデバイスのスクリーン上のオブジェクトの配置をタッチすることによって、ユーザによって手動で選択され得る。オブジェクトはまた、自動的に選択されることが可能であり得る。事例としては、それの全体のコンテンツがそれらの全体において本明細書に組み込まれ、それはオブジェクトのエッジを用いることによって飛行中のオブジェクトを検出するための特徴を開示する、米国特許出願公開第２０１３／０３３５５７５号明細書、それの全体のコンテンツがそれらの全体において本明細書に組み込まれ、それはビデオに対するオブジェクト認識アルゴリズムを開示する、米国特許第８，２５４，６９９号明細書、それの全体のコンテンツがそれらの全体において本明細書に組み込まれ、それは３Ｄオブジェクト認識のための特徴を開示する、米国特許第８，０６４，６８５号明細書、において開示されるようなオブジェクト認識特徴が、使用され得る。いくつかの実施形態において、関心オブジェクト４２０ｂの選択は、検証され得る。例えば、撮像デバイスは、関心オブジェクト４２０ｂの選択の検証を要求し得る。いくつかの実施形態において、関心オブジェクト４２０ｂは、間接的に選択され得る。事例としては、表示ウィンドウ４００は、図３のディスプレイ３８０に送信されるセキュリティカメラによって見られるシーンのような、インターネット接続を経由して見られるシーンを示し得る。関心オブジェクト４２０ｂはその後、例えば、関心オブジェクト４２０ｂが配置された携帯電話ディスプレイ上のタッチスクリーンのエリアをタッチすることによって、選択されることができる。

[0069] 撮像デバイスは、それが連続する画像フレームにおいて、例えば、４１０ｂから４１０ａにまたは４１０ｂから４１０ｃに変更するので、オブジェクト４２０ｂをトラックキングするように構成され得る。示されるように、オブジェクト４２０ｂは、それが、連続する画像４１０ａ、４１０ｂおよび４１０ｃ間でそれぞれ変更するおよび／または動くので、トラックキングされ得る。いくつかの実施形態において、上述のように、第２のオブジェクト（図示されず）はまた、トラックキングされ得る。

[0070] 一態様において、撮像デバイスは、複数の画像４１０ａ−４１０ｃにおける関心オブジェクト４２０ａ−４２０ｃの各描写について、有界な矩形４２５ａ−４２５ｃのような、関心領域（ＲＯＩ）を決定し得る。一実施形態において、ＲＯＩは、表示ウィンドウ４００内に表示され得、ユーザによって視認可能であり得る。別の実施形態において、ＲＯＩは、参照として、図３のワーキングメモリ３７０又はストレージ３７５内にのみ記録される。各有界な矩形４２５ａ−４２５ｃは、ｘ−次元（４７０ａ−４７０ｃ）、ｙ−次元（４６０ａ−４６０ｃ）、および対角線次元（４８０ａ−４８０ｃ）を含む。上述のように、撮像デバイスは、第１のオブジェクト４２０ｂに関連する参照パラメータと第２のオブジェクト例えば４２０ａまたは４２０ｃに関連する参照パラメータとの間の差から導出される参照パラメータにおける変更に基づいて、オートフォーカス探査動作のフォーカス方向を抽出するように構成されることができる。一実施形態において、参照パラメータは、有界なボックスのｘ−次元、ｙ−次元、又は対角線次元の少なくとも１つに基づく。別の実施形態において、参照パラメータは、それ自身の関心オブジェクトのエリアの計算に基づく。さらに別の実施形態において、参照パラメータは、ＲＯＩまたは関心オブジェクトの画素数に基づく。

[0071] 一態様において、撮像デバイスは、複数の画像４１０ａ−４１０ｃ間のオブジェクト４２０ｂにおける変更に基づいて、参照パラメータにおける変更を決定するように、構成される。図３を参照する一実施形態において、変更決定モジュール３４５は、複数の画像フレーム４１０ａ−４１０ｃを通じて、オブジェクト４２０ａ−４２０ｃにおける変更に少なくとも部分的に基づいて、参照パラメータにおける変更を決定するようにプロセッサ３０５を構成する命令を含む。例えば、第１の画像フレーム４１０ｂのオブジェクト４２０ｂは、第１の画像の参照パラメータを有する参照オブジェクト４２０ｂであり得る。一実施形態において、オブジェクト４２０ｂが第２の画像の参照パラメータを有するオブジェクト４２０になるように、画像４１０ｂは画像４１０ａに変更または移動し得る。オブジェクト４２０ａは、表示ウィンドウ４００に関連して、参照オブジェクト４２０ｂに比較して小さくなるように現れる。同様に、オブジェクト４２０ａに対応する参照パラメータは、参照オブジェクト４２０ｂに対応する参照パラメータより小さくなるであろう。それゆえ、第１の画像４１０ｂと第２の画像４１０ａとの間の参照パラメータの減少は、撮像デバイスからさらに離れて動くオブジェクトを示す参照パラメータにおける変更を表す。代替として、オブジェクト４２０ｂが第１の画像４１０ｂと第２の画像４１０ｃとの間の参照パラメータにおける変更を有するオブジェクト４２０ｃとなるように、第１の画像４１０ｂは、第２の画像４１０ｃに変更し得る。オブジェクト４２０ｃは、すぐに参照オブジェクト４２０ｂより大きくなるように、現れる。それゆえ、参照パラメータにおける差は、撮像デバイスにより近くに動くオブジェクトを示す参照パラメータにおける変更を、表す。

[0072] いくつかの実施形態において、参照パラメータにおける変更は、図４Ａ、４Ｂ及び４Ｃにそれぞれ例示される有界な矩形４２５ａ−４２５ｃのｘ−次元、ｙ−次元または対角線次元の少なくとも１つにおける変更によって、表され得る。例えば、画像４１０ｂは、少なくともｘ−次元４７０ｂを有する有界な矩形４２５ｂによって表されるオブジェクト４２０ｂを有する第１の画像を表し得る。この場合において、参照パラメータは、第１または参照画像４２０ｂの次元４７０ｂによって表され得る。次元４７０ｂは、絶対値、例えば、画素数であり得る、または、表示ウィンドウ４００の全体の次元４４０に関連する値であり得る。第２または複数の画像は、キャプチャされ、第２の画像４１０ａの参照パラメータを表しているオブジェクト４２０ａおよび次元４７０ａを有する画像４１０ａが、もたらされる。次元４７０ａはまた一方で、絶対値、例えば、画素数であり得る、または、表示ウィンドウ４００の全体の次元４４０に関連する値であり得る。表示ウィンドウの次元４４０は、画像４１０ｂおよび４１０ａとの間で変更しない場合がある。しかしながら、次元４７０ｂ乃至４７０ａにおける変更は、参照パラメータにおける減少を、表し得る。代替として、後続の画像は、それによって次元４７０ｂ乃至４７０ｃにおける増加を表している画像４１０ｃであり得る。このような方法で、撮像デバイスは、トラックキングされた関心オブジェクトの複数の画像間の参照パラメータにおける変更を決定し得る。

[0073] 図５は、一実施形態に従った参照パラメータにおける変更に基づいたフォーカス方向の決定の一例を例示する。線５００および５１０は、継続的に連続してキャプチャされた画像フレームにわたる参照パラメータにおける変更を示す。例えば、図５は、図４のオブジェクト４２０ａ−４２０ｃを描写し、ここで、オブジェクト４２０ｂは、参照オブジェクト４２０ｂとみなされ得るオブジェクト４２０ｂの第１のキャプチャされた画像を、例示する。参照オブジェクト４２０ｂは、図４Ｂを参照して上述されたように、対応する参照パラメータを有し得る。参照パラメータは、傾斜された線５１０とベース線５００との間の距離として指し示されたサイズまたは高さであり得る。オブジェクトの参照パラメータは、オブジェクト４２０ｂから４２０ｃに、又は、４２０ｂから４２０ａに変更(例えば、増加または減少)するので、参照パラメータ変更は、線５１０および５００間のギャップの拡大または縮小によって、それぞれ例示される。一実施形態において、図５の態様は、撮像デバイス３００によって、例えば、図３のオブジェクトトラッキングモジュール３４０および変更決定モジュール３４５において、遂行され得る。

[0074] 図５はまた、より小さくなっているオブジェクト４２０ｂとして示される、オブジェクト４２０ｂの参照パラメータが減少する場合の事例を表す例となるオブジェクト４２０ａを描写する。第２の例となるオブジェクト４２０ｃは、より大きくなっているオブジェクト４２０ｂとして示される、オブジェクト４２０ｂの参照パラメータは増加する場合の実例を表す。このような方法で、撮像デバイスは、オブジェクトトラッキングモジュール３４０を介して参照パラメータをモニタするように構成され得、撮像デバイスは、オブジェクトがより大きくまたはより小さくなっている場合を決定することが可能となり得る。

[0075] 図５において導出された参照パラメータにおける変更は、オブジェクトが撮像デバイスから配置される相対的な物理的距離に直線的にマッピングされ得る。例えば、図３の参照パラメータ変更インジケータ決定モジュール３５５は、第２の画像フレームの参照パラメータの増加が第１の画像フレームの参照パラメータに関連して増加している、例えば、オブジェクトのサイズが画像フレーム間で増加している時において、オブジェクトが、撮像デバイスにより近づいていることを指し示すための命令を含み得る。代替として、図３の参照パラメータ変更インジケータ決定モジュール３５５は、現在のまたは第２の画像フレームの参照パラメータが、第１の画像フレームの参照パラメータに関連して減少している、例えば、オブジェクトのサイズがフレーム間において減少している時において、関心オブジェクトが撮像デバイスからさらに離れていることを指し示すための命令を含み得る。現在のまたは第２の画像フレームの参照パラメータに関連する距離のマッピングに基づいて、撮像デバイスは、最適なレンズ位置の方向においてレンズを動かすためのフォーカス方向の判定を為し得る。最適なレンズ位置方向判定は、オブジェクトの方向がさらに離れるように指し示される時において、スタート位置から、オブジェクトに向かってレンズを動かすことであり得る。別の実装形態におけるレンズ位置フォーカス方向判定は、オブジェクトの方向がより近づいているように指し示される時において、スタート位置から、オブジェクトからさらに離れてレンズを動かすことであり得る。

[0076] 図５に示される実例となる実施形態において、フォーカス方向決定はまた、しきい値境界５３０および５２０として見られる、しきい値に少なくとも部分的に基づき得る。撮像デバイスは、撮像デバイスが、オブジェクトが参照パラメータの全体の変更トレンドに基づいてより近づくまたはさらに離れる場合を決定するであろうことによるしきい値を有し得る。一実施形態において、撮像デバイス３００は、図５の態様を、例えば、図３のしきい値決定モジュール３５０、変更決定モジュール３４５、および／またはオートフォーカス制御モジュール３６０において、遂行し得る。

[0077] 図５の実例となる実施形態において、しきい値は、第１の境界値５２０および第２の境界値５３０を含む。一実施形態において、第１および第２の境界値は、上限および下限の境界値とみなされ得る。一実施形態において、図３のオートフォーカス制御モジュール３６０は、参照パラメータにおける変更が第１及び第２の境界値５２０および５３０の外側である時のみにおける参照パラメータにおける変更に基づいて、フォーカス方向を決定するための命令を含み得る。例えば、第２の境界値５３０は、第１及び第２の画像フレームの参照パラメータ間のパーセンテージ変更を表し得る。オブジェクト４２０ｂおよび対応する参照パラメータが、オブジェクト４２０ａおよび対応する参照パラメータに対してサイズにおいて減少する場合、撮像デバイス３００（図３）は、参照パラメータにおける変更がオブジェクト４２０ｂから４２０ａへの減少が閾値５３０より低い場合のみ減少を指し示すということを、決定する。図３の参照パラメータ変更インジケータ決定モジュール３５５はその後、第１および第２の画像フレームの参照パラメータ間の減少に基づいて、フォーカス方向を指し示し得る。代替として、第１および第２の画像フレームの参照パラメータ間の差が、オブジェクト４２０ｃに対する第１の境界値５２０を超えて増加する時、フォーカス方向はその後、関心オブジェクト４２０ｂおよび４２０ｃの参照パラメータ間の増加に基づき得る。実例となる実施形態において、閾値は、フォーカス方向が導出され得る第１および第２の境界を、定義する。

[0078] 図５に示されるように、フォーカス方向決定は、最後に保存されたまたは第１の画像フレームが閾値、それは上限または下限の境界値を有し得る、に達する参照パラメータに関連する参照パラメータにおける変更を、一度為され得る。しきい値は、フォーカス方向を決定するために、撮像デバイス３００に対して第１の境界値５３０および第２の境界値５２０を提供し得る。例えば、第１の画像フレームにおけるオブジェクト、例えばオブジェクト４２０ｂの参照サイズは、１の値に設定され得、閾値は、撮像デバイスからのオブジェクト距離に基づいて、０．１５の値に設定され得る。第１の境界は、１の１．１５倍に決定され得、および、第２の境界は、１．１５で割られた１であり得る。１．１５倍の第１の画像フレームの参照パラメータまたは１／１．１５倍の第１の画像フレームの参照パラメータの参照パラメータの平均的な変更または変更トレンドを有する第１及び第２のフレームの参照パラメータにおける変更のみが、方向決定をもたらし得る。別の実施形態において、各フォーカス動作に対する第１の画像フレームの参照パラメータは、図３のワーキングメモリ３７０および／またはストレージ３７５内で、更新または保存され得、更新された参照パラメータは、次のフォーカス動作のために１に設定され得る。

[0079] 図６は、フォーカス方向決定の動的なしきい値を例示するグラフである。図６は線６２０によって表される、オブジェクトの物理的距離に基づいた、線６１０によって表される閾値、および、矢印として図６内に表されるアクチュエータ位置６３５のグラフを、描写する。オブジェクトの物理的距離は、アクチュエータ位置に基づいて、決定されることができる。例えば、アクチュエータは、撮像デバイスにおけるアクチュエータの設計および製造に基づいて、個別のアクチュエータ位置６３５を設定するために、動かすことのみ可能である。オートフォーカス探査動作の終わりでは、アクチュエータは、オブジェクト(例えば、曲線６２０)の物理的距離に相互に関連するアクチュエータ位置６３５の１つで配置されるであろう。所与の距離のためのしきい値は、アクチュエータ位置に基づいて、曲線６１０から決定され得る。それゆえ、オートフォーカス探査動作の完了の後、以前の閾値は、その動作に対するアクチュエータの位置に基づいて、保存される。図６の態様は、図３を参照して説明されるように、撮像デバイス３００によって、例えば、オブジェクトトラッキングモジュール３４０、変更決定モジュール３４５、および、しきい値決定モジュール３５０において、遂行され得る。

[0080] 一態様において、方向決定は、図５を参照して上方で詳述されたように、フォーカス方向の決定が一度のみ超えられるであろう閾値を含み得る。しかしながら、図６に描写されるように、遠いオブジェクトに対する方向決定は、オブジェクトが接近する時に必要とされる決定より感度が低くなることを必要とし得る。例えば、アクチュエータひいてはレンズが、無限遠のフォーカス位置に位置されるであろうから、オブジェクトが５又は６メートルよりさらに遠い時に必要とされる方向判定が無い場合がある。それゆえ、図６に示されるように、方向決定閾値は、物理的距離における増加に伴って増加し得る。閾値は、実際のカメラレンズおよびイメージセンサに依存し得、全体の撮像デバイス３００に基づいて、調節されることを必要とし得る。

[0081] 図７は、一実施形態に従ったフォーカス方向を決定するプロセスのフローチャートである。プロセス７００は、図３に例示される、撮像デバイス３００によって遂行され得る。いくつかの実施形態において、オートフォーカス探査動作のためのフォーカス方向を決定する方法は、メモリ３２０のモジュールのいずれか１つと通信状態であるレンズ制御モジュール３２５によって遂行され得る。方法は、メモリ３２０によるソフトウェアソリューションとして実現されることができる、または、撮像デバイス３００の他の部分、例えば、プロセッサ３０５内のロジックデバイスによって実行される１つ又は複数のプロセッサで、実現されることができる。

[0082] プロセス７００は、スタートブロックで始動し、その後プロセスブロック７１０に動く、ここで、撮像デバイスは、オートフォーカス探査動作およびオブジェクトトラッキングをスタートする。一実施形態において、オートフォーカス探査動作は、少なくとも１つの関心オブジェクトの画像のやがて起きるキャプチャリングのためのシーンをフレーミング（framing）している撮像デバイスのユーザによって、スタートされる。別の実施形態において、オートフォーカス探査動作は、ユーザが写真の撮影またはシーンの記録を開始するために入力デバイスを動作する時に、スタートされる。この実施形態において、オートフォーカス探査動作は、ユーザが入力デバイスを動作する後、しかし、撮像デバイスが撮像デバイスストレージ内に写真を記録する前に、直接的に発生し得る。プロセスブロック７１０のサブプロセスは、図８を参照して以下にさらに詳細に解説されるであろう。

[0083] オートフォーカス探査動作が始められた後、プロセス７００は、ブロック７２０に動く、ここで、現在の参照パラメータは、現在の画像フレームのトラッキング結果に少なくとも部分的に基づいて、決定される。現在のフレームの参照パラメータはまた、第２のフレームの参照パラメータと称され得、各連続するフレームは、対応する参照パラメータを有し得る。いくつかの実施形態において、参照パラメータは、関心オブジェクトの関連する)サイズに基づき得る、ここで、オブジェクトサイズは、ディスプレイの次元に関連する。別の実施形態において、参照パラメータは、有界な矩形のｘ−、ｙ−または対角線次元のような、関心オブジェクトをカプセル化(encapsulating)している有界な矩形の少なくとも１つの次元に基づき得る。一実施形態において、図３を参照してより詳細に説明されるように、プロセッサ３０５は、ユーザ選択関心オブジェクトのトラッキング動作に少なくとも部分的に基づいて、参照パラメータを受け入れるように、参照パラメータ決定モジュール３３５によって構成される。参照パラメータは、より完全に本明細書で説明されるように、オブジェクトおよび／またはＲＯＩのサイズに基づいて、決定され得る。一実施形態において、参照パラメータは、決定された有界な矩形のｘ−次元、ｙ−次元又は対角線次元の少なくとも１つに基づく。参照パラメータ決定モジュール３３５内に含まれる命令は、図３に例示されるように、ワーキングメモリ３７０又はストレージ３７５内の閾値を記録するようにプロセッサ３０５を構成し得る。

[0084] 現在の参照パラメータが決定された後、プロセス７００は、ブロック７３０に継続し、ここで、オートフォーカス探査動作のための最後の画像フレームの最後に保存された参照パラメータ、および、しきい値は、読み出される。図３を参照する一実施形態において、プロセッサ３０５は、最後に保存された参照パラメータを読み出すために、ワーキングメモリ３７０および／またはストレージ３７５にアクセスするように構成される。一実施形態において、最後に保存された参照パラメータは、ブロック７９０を参照してより詳細に説明されるように、以前のオートフォーカス探査動作において決定された最後の参照パラメータに基づいて、参照パラメータ決定モジュール３３５における命令によって、決定されることができる。一実施形態において、第１の事例において、プロセス７００は、最後に保存された参照パラメータとして、第１のフレームの現在の参照パラメータを、受け入れる。いくつかの実施形態において、最後に保存された参照パラメータはまた、第１の画像フレームの参照パラメータまたは参照用の参照パラメータとみなされ得る、それ（that）は、参照パラメータにおける変更が後続にキャプチャされた画像フレームにおいて発生しているかどうか決定するための基準として用いられ得る。例えば、最後に保存された参照パラメータを現在の又は第２の画像フレームの参照パラメータと比較することによって、ブロック７５０を参照してより詳細に説明されるであろうように、参照パラメータにおける変更は、先のオートフォーカス動作と現在の又は第２の画像フレームとの間で、決定され得る。

[0085] さらに、プロセス７００は、ブロック７３０でしきい値を決定し得る。一実施形態において、しきい値は、図５および６を参照して説明されるように、オブジェクトの参照パラメータに少なくとも部分的に基づいて導出され、撮像デバイスからのオブジェクトの物理的距離に基づく。一実施形態において、しきい値は、現在のアクチュエータ位置に基づき得る。別の実施形態において、しきい値は、以前のオートフォーカス探査動作の結果としての現在のアクチュエータ位置に基づき得る。図３を参照するさらに別の実施形態おいて、しきい値決定モジュール３５０は、オブジェクトトラッキングモジュール３４０から取得されたトラッキング情報に基づいて、第１および第２の境界値を有する閾値を決定し得る。しきい値決定モジュール３５０内に含まれる命令は、ワーキングメモリ３７０又はストレージ３７５内の閾値を記録するように、プロセッサ３０５を構成し得る。

[0086] プロセス７００はその後、ブロック７４０に動く、ここで、オブジェクトの現在の画像フレームの参照パラメータは、フィルタリングされ、モニタリングされる。各フレームのための参照パラメータの各決定は、信頼性が小さくなる場合があり、それゆえ、プロセス７００は、オブジェクトがトラッキングされている間に生じ得る外れ値または無関係な参照パラメータを平滑化するまたは抽出するために、参照パラメータ変更のセット、例えば、参照パラメータ変更におけるトレンドを決定し得る。例えば、最後に保存されたおよび第１の現在の画像フレーム間の参照パラメータにおける変更は、参照パラメータ(例えば、オブジェクトが離れて動いている)における減少を、指し示し得る、しかし最後に保存されたおよび第２の現在のフレーム間の参照パラメータにおける変更は、撮像デバイスの突然の移動に起因し得る増加(例えば、オブジェクトがより近付いている)を、指し示し得る。この場合において、撮像デバイスは、無関係な参照パラメータ変更の影響を最小化または取り除くために、参照パラメータ変更のセット、最後に保存された参照パラメータと各フレームのための参照パラメータとの比較を含むセットを、モニタリングおよびフィルタリングし得る。このような方法で、参照パラメータ変更のトレンドは、決定され得、それは、オブジェクト移動のおおまかなまたは全体的な方向を、指し示し得る。一実施形態において、参照パラメータ変更インジケータ決定モジュール３５５は、図３に例示されるように、参照パラメータ変更におけるトレンドを決定するようにプロセッサ３０５を構成するための命令を含み得る。別の実施形態において、ブロック７４０は、平滑化フィルタを適用するための命令を含み、それによって、複数の画像にわたる参照パラメータの関連する平均変更を決定する。例えば、メディアンフィルタは、信頼可能な変更トレンドを出力するために、参照パラメータ変更のセットに適用され得る。一実装形態において、メディアンフィルタは、画像または信号におけるノイズ削減を遂行することが可能なフィルタであり得る、ここで、単一のフレームに対応する１つのエントリの信号は、近隣エントリの中央値と交換される。一実装形態において、５の長さを有する一次元メディアンフィルタは、ノイズを防ぐために、トラッキング情報の幅において使用され得る、その結果、メディアンフィルタは、インスタントエントリを５つの近隣エントリの中央値と交換し得る。いくつかの実施形態において、近隣エントリは、インスタントエントリに先行しているエントリを含む。他の実施形態において、近隣エントリは、インスタントエントリに続いているエントリを含む。さらに他の実施形態において、近隣エントリは、インスタントエントリに続く及び先行する両方のエントリを含む。このような方法で、変更トレンドは、オブジェクトの移動の平均的なまたはおおまかな方向を、指し示し得る。

[0087] プロセス７００はその後、ブロック７５０に動き得る、ここで、プロセス７００は、現在のフレームの参照パラメータと最後に保存されたまたは第１の画像フレームの参照パラメータ(例えば、以前のフォーカス動作からの最後に保存された参照パラメータ、または、第１のフレームに対応する参照パラメータ)との比較に少なくとも部分的に基づいて、参照パラメータにおける変更を決定する。一実施形態において、図３に例示されるように、第１の画像フレームの参照パラメータは、オブジェクトトラッキングモジュール３４０を介して、連続的にキャプチャされたフレームの各参照パラメータと比較され、および、変更決定モジュール３４５からの命令に基づいて構成されたプロセッサ３０５によって、分析される。一実施形態において、参照パラメータにおける変更は、図４Ａ−４Ｃを参照して詳述されるように、決定され得る。例えば、図３を参照して、第１の参照パラメータを有する、第１の画像のオブジェクトは、現在の参照パラメータを有する現在トラッキングされたフレームのオブジェクトに比較され、変更は、変更決定モジュール３４５からの命令に基づいて、プロセッサ３０５によって記録される。別の実施形態において、第１の画像の参照パラメータと連続的にトラッキングされたフレームの参照パラメータとの間の変更は、上述のように、参照パラメータ変更のセットを生成するために、記録され得る。

[0088] プロセス７００はその後、判定ブロック７６０に動き、ここで、プロセス７００は、参照パラメータにおける変更が、ブロック７５０に決定されたように、閾値に関連する状態に達しているかどうか決定する。判定ブロック７６０の決定は、図３に例示されるようなしきい値決定モジュール３５０および／またはオートフォーカス制御モジュール３６０において、為され得る。一実施形態において、閾値は、第１および第２の境界値を含み、それによって、参照パラメータにおける変更は、図５および６を参照して上方に詳述されたように、第１の境界値より大きく、又は、第２の境界値より小さくなければならない。参照パラメータにおける変更が、閾値に関連する状態に達しない場合、その後、プロセス７００は、ブロック７２０に戻り、参照パラメータにおける変更が閾値より上にそれとも下になるまで、プロセス７００を繰り返す。参照パラメータ変更における変更が、閾値に関連する状態に達する場合、プロセス７００は、プロセスブロック７７０に動き得る。

[0089] ブロック７７０では、プロセス７００は、参照パラメータ変更インジケータを、記録する。図３を参照する一実施形態において、参照パラメータ変更インジケータ決定モジュール３５５は、ワーキングメモリ３７０および／またはストレージ３７５における参照パラメータ変更インジケータを記録するようにプロセッサ３０５を構成するための命令を含む。図３を参照する別の実施形態において、参照パラメータ変更インジケータ決定モジュール３５５は、オートフォーカス制御モジュール３６０に参照パラメータ変更インジケータを送信するようにプロセッサ３０５を構成するための命令を含む。このような方法で、図３のオートフォーカス制御モジュール３６０は、図９を参照して以下に説明されるように、オートフォーカス探査動作を遂行することにおいて、参照パラメータ変更インジケータを利用し得る。

[0090] 参照パラメータ変更インジケータが記録された後、プロセス７００はその後、判定ブロック７８０に動き得る。判定ブロック７８０では、プロセス７００は、オートフォーカス探査動作が終わっているかどうか決定し得る。オートフォーカス探査動作が完了していない場合、プロセスはその後、ブロック７２０に戻り得、適したフォーカス方向を決定するためのプロセスを繰り返し得る。撮像デバイスが、オートフォーカス探査動作が完了していると決定した場合、その後、プロセス７００は、ブロック７９０に動く。ブロック７９０では、プロセス７００は、最後に保存された参照パラメータとなるべき参照パラメータを更新し、閾値を更新する。第１の画像フレームの参照パラメータは、最後に保存された画像フレームに対応する最後に保存された参照パラメータに基づいて、更新され得る、ここで、最後に保存された参照パラメータは、以前のオートフォーカス探査動作の最後のフレームに対応する参照パラメータである。しきい値は、以前のオートフォーカス探査動作に起因する現在のレンズまたはアクチュエータ位置に基づいて、更新され得る。いくつかの実施形態において、最後に保存された参照パラメータおよびしきい値は、フォーカス動作毎の後に、更新される。最後に保存された参照パラメータおよび閾値の更新は、図７のブロック７９０に例示されるように、同じ段階で遂行され得る。しかしながら、その動作は、分離および独立である。図３を参照する一実施形態において、プロセッサ３０５は、ワーキングメモリ３７０および／またはストレージ３７５内の最後に保存された参照パラメータのように、参照パラメータ決定モジュール３３５によって決定されたオブジェクトの最後の参照パラメータを記録するように構成される。別の実施形態において、図３を参照して、プロセッサ３０５は、オートフォーカス探査動作の結果のように、レンズの位置に少なくとも部分的に基づくしきい値を記録するように構成される。一度、参照パラメータおよび閾値は更新され、プロセスは、後続のオートフォーカス動作に対して繰り替えされるようにブロック７３０に動く。

[0091] 図８は、オブジェクトのトラッキングを開始するための図７のプロセスブロック７１０で遂行されることができるサブプロセスのフローチャートである。図３を参照する一実施形態において、オブジェクトトラッキングは、オブジェクトトラッキングモジュール３４０および／または入力処理モジュール３３０からの命令によって構成されたプロセッサ３０５によって、遂行される。サブプロセスは、スタートブロックで始動し、その後、ブロック８１０に進む、ここで画像フレームは、撮像デバイスによってキャプチャされる。画像は、撮像デバイスによってキャプチャされた写真、スティールまたはビデオであり得る。実例となる実施形態において、画像またはシーンからの光は、レンズ３１０に入り、図３のイメージセンサ３１４上にフォーカスされ、それによって画像をキャプチャする。画像は、動かされ得るまたは固定であり得る１つまたはいくつかの関心オブジェクトを、含み得る。

[0092] 図７のプロセスブロック７１０の図８に示されるサブプロセスはその後、ブロック８２０に動き、ここにおいて、画像は表示され得る。例えば、画像は、図３の撮像デバイス３００のディスプレイ３８０のような、撮像デバイスのディスプレイ上に表示され得る。画像は、記録されるまたは現在記録している、例えば、テープに記録されるまたはライブ（live）であり得る。さらに、キャプチャされた画像は、画像を表示している同じデバイスからであり得る、または、それは、異なるデバイスからであり得る。

[0093] プロセスブロック７１０のサブプロセスはその後、ブロック８３０に移動し、ここにおいて、関心オブジェクトを選択している入力は、受けられる。いくつかの実施形態において、オブジェクトの選択は、オブジェクトがディスプレイ上に現在配置されているスクリーンまたはディスプレイにユーザが触れることによって受けられ得る。他の実施形態において、オブジェクトは、図３のメモリ３２０のような、メモリ内に含まれる命令に基づいて、撮像デバイスまたはその部分によって、選択される。他の実施形態において、オブジェクトの選択はまた、オブジェクトを識別する情報を受けることによって受けられ得る。例えば、オブジェクトの記述は、デバイス内に記憶され得る。いくつかの実施形態において、オブジェクトを選択することは、オブジェクトを含む関心領域（ＲＯＩ）を創出することを含む。例えば、ＲＯＩは、オブジェクトのまわりに形成され得、領域内のオブジェクトが選択されていることを指し示す。いくつかの実施形態において、領域は、可視でない場合がある。一実施形態において、プロセッサ３０５は、図３に例示されるように、入力処理モジュール３３０からの命令および入力デバイス３９０を用いたユーザ相互作用（ユーザインタラクション）に基づいて、ユーザ選択関心オブジェクトを、受けられるように構成され得る。

[0094] ユーザ又は撮像デバイスが、関心オブジェクトを選択した後、プロセスブロック７１０のサブプロセスは、エンドブロックに継続する。一度完了されたプロセスブロック７１０のサブプロセスは、図７を参照して上述されるように、プロセス７００に戻り得、およびブロック７２０に継続し得る。

[0095] 図９は、一実施形態に従ったオートフォーカス探査動作における方向決定を利用するプロセス９００のフローチャートである。プロセス９００は、例えば、図３に例示されるような、撮像デバイス３００によって遂行され得る。一実施形態において、プロセス９００は、図３に例示されるように、メモリ３２０のモジュールのいずれか１つと通信状態にあるレンズ制御モジュール３２５および／またはオートフォーカス制御モジュール３６０によって、遂行され得る。方法は、メモリ３２０によるソフトウェアソリューションとして実現されことができ、または、撮像デバイス３００における他の部分に、例えば、図３のプロセッサ３０５におけるロジックデバイスによって実行される１つ又は複数のプロセッサに、実現されることができる。

[0096] プロセス９００は、オートフォーカス探査動作のスタートで始動し、および、判定ブロック９１０に進む。判定ブロック９１０では、決定は、方向情報が入手できるかどうかについてなされる。図３を参照する一実施形態において、決定は、変更決定モジュール３４５、しきい値決定モジュール３５０、および／または、参照パラメータ変更インジケータ決定モジュール３５５によって更新されているプロセッサ３０５によってなされ得る。決定が判定ブロック９１０で為されない場合、その方向情報は入手できなく、その後、プロセスは、ブロック９２０に動く。ブロック９２０では、プロセス９００は、上方で議論された伝統的な方法に基づいて、オートフォーカス探査動作を開始し得る。

[0097] 決定が、判定ブロック９１０で為された場合、その方向情報が入手でき、その後、プロセス９００は、ブロック９３０に動く。ブロック９３０では、参照パラメータ変更インジケータは、図７を参照して説明されるように、トラッキング結果に基づいて読み出される。一実施形態において、参照パラメータ変更インジケータは、参照パラメータ変更におけるトレンドおよび／または閾値に少なくとも部分的に基づく。一実施形態において、参照パラメータ変更インジケータ決定モジュール３５５における命令は、図３に例示されるように、ワーキングメモリ３７０および／またはストレージ３７５からの参照パラメータ変更インジケータを、読み出すようにプロセッサ３０５を構成するための命令を含む。

[0098] プロセス９００は一度、参照パラメータ変更インジケータを読み出し、プロセス９００は、判定ブロック９４０に継続する。判定ブロック９４０では、決定は、参照パラメータ変更インジケータが参照パラメータにおける減少を指し示すかどうかについてなされる。図９の実例となる実施形態において、決定が、参照パラメータ変更インジケータが、参照パラメータにおける減少を指し示すとなされている場合、その後、プロセス９００は、ブロック９５０に継続する。ブロック９５０では、フォーカス動作のためのフォーカス方向は、さらに離れるように設定される。いくつかの実施形態において、参照パラメータ変更インジケータが減少している決定は、第１の画像フレームまたは最後に保存された画像フレームの参照パラメータと第１のフレームに続いている各フレームのための参照パラメータとの間の差が、複数のフレームにわたって、平均すると、減少しているということを指し示している。一実施形態において、参照パラメータ間の差における減少は、オブジェクトの選択されたサイズが減少していることを指し示し得、それによって、オブジェクトが、第１の画像フレームまたは最後に保存された画像フレームの参照パラメータに関連する撮像デバイスからさらに離れて動いていることを指し示す。

[0099] 代替として、決定が、参照パラメータ変更インジケータが、第１または最後に保存された画像フレームの参照パラメータと各後続のフレームに対応する参照パラメータとの間の差において増加を指し示すことを為す場合、その後、プロセス９００は、ブロック９６０に動く。ブロック９６０では、オートフォーカス探査動作のためのフォーカス方向は、より近くに設定される。一実施形態において、参照パラメータ間の差における増加は、オブジェクトのサイズが増加していることを指し示し得る、それによって、選択オブジェクトが第１のまたは最後に保存された画像フレームの参照パラメータに関連する撮像デバイスにより近づいて動いていることを指し示している。

[0100] プロセス９００はその後、ブロック９７０に移動し、ここで、オートフォーカス探査動作は、決定された方向に基づいて、スタートされる。一実施形態において、図３のオートフォーカス制御モジュール３６０は、ブロック９６０における決定に基づいて、アクチュエータ３１２にレンズ３１０を動かさせることによって、オートフォーカス探査動作を開始し得る。一実施形態において、オートフォーカス制御モジュール３６０は、参照パラメータ変更インジケータに基づいてフォーカス方向を決定するようにプロセッサ３０５を構成するための命令を含む。このような方法で、プロセス９００は、オートフォーカス探査動作の初期に適したフォーカス方向においてレンズを動かすことによって、オートフォーカス探査動作を始めることができ、それによって、最適なフォーカス位置に向かってレンズを早くおよび効果的に動かす。

[0101] 当業者であれば、本明細書で開示された実装形態に関連して説明された様々な例示的なロジカルブロック、モジュール、回路、およびプロセスステップは、電子ハードウェア、コンピュータソフトウェア、または両方の組み合せとして実現され得ることをさらに理解するであろう。ハードウェアとソフトウェアのこの互換性を明確に例示するために、様々な例示的なコンポーネント、ブロック、モジュール、回路、およびステップが、概してそれらの機能性の点から上記に説明されてきた。そのような機能が、ハードウェアとしてまたはソフトウェアとして実現されるかは、特定のアプリケーションおよび全体のシステムに課せられる設計制約に依存する。当業者は、各特定のアプリケーションに関して、様々な方法で、説明された機能性を実現し得るが、そのような実装形態の判定は、開示された実施形態または実施形態の態様の範囲から逸脱を引き起こしていると解釈されるべきでない。当業者であれば、部分、または一部が、全体よりも少ないもの、または全体に等しいものを備え得ることを理解するであろう。例えば、画素のコレクションの部分は、それら画素のサブコレクションを称し得る。

[0102] 本明細書で開示された実装形態に関連して説明された様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはその他のプログラマブルロジックデバイス、ディスクリートゲートまたはトランジスタロジック、ディスクリートハードウェアコンポーネント、または本明細書で説明された機能を実行するように設計されるこれらの任意の組み合わせで、実現または実行され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、このプロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシンであり得る。プロセッサはまた、例えば、ＤＳＰとマイクロプロセッサの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連結する１つまたは複数のマイクロプロセッサ、または任意の他のこういった構成である、コンピューティングデバイスの組み合わせとして実装され得る。

[0103] 本明細書に開示された実装形態に関連して説明された方法またはプロセスのステップは、直接ハードウェアにおいて、プロセッサによって実行されるソフトウェアモジュールにおいて、またはこれら２つの組み合わせにおいて、具現化され得る。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭ（登録商標）メモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭ、または当技術分野で既知のあらゆる他の形式の非一時的な記憶媒体に存在することができる。例となるコンピュータ読取可能な記憶媒体は、プロセッサがコンピュータ読取可能な記憶媒体から情報を読み取り、またそれに情報を書き込むことができるように、プロセッサに結合される。代替において、記憶媒体は、プロセッサと統合され得る。プロセッサおよび記憶媒体は、ＡＳＩＣ中に存在し得る。ＡＳＩＣは、ユーザ端末、カメラ、または他のデバイス内に存在し得る。代替において、プロセッサおよび記憶媒体は、ユーザ端末カメラ、または他のデバイス内のディスクリートコンポーネントとして存在し得る。

[0104] 見出しは、参照のためおよび様々なセクションの位置付けを支援するために、本明細書に含まれる。これらの見出しは、これらに関して説明された概念の範囲を限定するようには意図されない。このような概念は、明細書全体にわたって適用性を有し得る。

[0105] 開示された実装形態の上記説明は、当業者が、本明細書に説明されたイノベーションの実施形態を製造または使用することを可能にするために提供される。これらの実装形態への様々な修正は、当業者にとって容易に明らかになり、本明細書に定義された一般的な原理は、本開示の主旨または範囲から逸脱することなく、他の実装形態にも適用され得る。それゆえ、現在説明された実施形態は、本明細書に示された実装形態に限定されるようには意図されず、本明細書に開示される原理および新規な特徴と一致する最も広い範囲を与えられることとなる。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
撮像デバイスをフォーカスさせる方向を決定する方法であって、
撮像デバイスでシーンを描写する複数のフレームをキャプチャすることと、
表示されたフレームにおけるオブジェクトに対応する少なくとも１つのフレームの一部を選択することと、
前記複数のフレームにおける前記オブジェクトをトラッキングすることと、ここにおいて、前記オブジェクトをトラッキングすることは、前記複数のフレームの各々のための前記オブジェクトの参照パラメータを提供する、
前記複数のフレームのうちの少なくとも第１のフレームと第２のフレームとの間の前記参照パラメータにおける変更を検出することと、
前記参照パラメータにおける前記変更に基づいてフォーカス方向を決定することと、
前記決定されたフォーカス方向に基づいて前記撮像デバイスのレンズを動かすことによってフォーカス動作を開始することと
を備える、方法。
［Ｃ２］
前記選択することは、
前記複数のフレームのうちの少なくとも１つを表示することと、
前記表示されたフレームにおけるオブジェクトに対応する前記表示されたフレームの一部を選択するためにユーザ入力を受信することと
をさらに備える、Ｃ１に記載の方法。
［Ｃ３］
前記参照パラメータは、それが描写されるフレームに関連して前記オブジェクトの前記サイズに対応する、Ｃ１に記載の方法。
［Ｃ４］
前記オブジェクトを前記トラッキングすることは、
前記第１のフレームにおける前記オブジェクトのサイズを検出することと、
前記第２のフレームにおける前記オブジェクトのサイズを検出することと、ここにおいて、前記第２のフレームは、前記第１のフレームをキャプチャした後キャプチャされた前記複数のフレームのうちの１つである、
をさらに備える、Ｃ３に記載の方法。
［Ｃ５］
前記参照パラメータにおける前記変更は、前記第１のフレームにおける前記オブジェクトの前記サイズと前記第２のフレームにおける前記オブジェクトの前記サイズとの間の差である、Ｃ４に記載の方法。
［Ｃ６］
前記複数のフレームにおける前記オブジェクトの各描写に関して前記オブジェクトを取り囲むバウンディング矩形を決定すること、ここにおいて、各フレームのための前記参照パラメータは、前記バウンディング矩形の次元に基づく、
をさらに備える、Ｃ１に記載の方法。
［Ｃ７］
各フレームのための前記参照パラメータは、前記バウンディングボックスのｘ次元、前記バウンディング矩形のｙ次元、または前記バウンディング矩形の対角線のうちの１つに基づく、Ｃ６に記載の方法。
［Ｃ８］
先のフォーカス動作の完了の後、前記参照パラメータにおける変更を前記検出することは、
前記先のフォーカス動作からの前記複数のフレームのうちの最後のフレームを識別することと、
前記先のフォーカス動作からの前記最後のフレームの参照パラメータを決定することと、
現在のフォーカス動作のための前記第１のフレームの前記参照パラメータを前記先のフォーカス動作からの前記最後のフレームの前記参照パラメータとなるように設定することと
をさらに備える、Ｃ１に記載の方法。
［Ｃ９］
前記参照パラメータにおける変更を検出することは、
参照パラメータ変更のセットを生成するために前記第１のフレームの前記参照パラメータを前記第１のフレームの後にキャプチャされた各フレームの前記参照パラメータと比較することと、
参照パラメータ変更の前記セットを調整することと、
前記第１のフレームの前記参照パラメータと前記第１のフレームの後キャプチャされた各フレームとの間の前記差のトレンドを示す参照パラメータ変更インジケータを生成することと
をさらに備える、Ｃ１に記載の方法。
［Ｃ１０］
前記参照パラメータ変更インジケータは、各フレームの前記参照パラメータ間の前記差の前記トレンドが前記第１のフレームの前記参照パラメータに関連して増加する時、前記オブジェクトが前記撮像デバイスにより近づいていることを示す、Ｃ９に記載の方法。
［Ｃ１１］
前記参照パラメータ変更インジケータは、各フレームの前記参照パラメータ間の前記差の前記トレンドが前記第１のフレームの前記参照パラメータに関連して減少する時、前記オブジェクトが前記撮像デバイスからさらに離れていることを示す、Ｃ９に記載の方法。
［Ｃ１２］
参照パラメータ変更の前記セットを調整することは、参照パラメータ変更の前記セットを平滑化することを備える、Ｃ９に記載の方法。
［Ｃ１３］
前記フォーカス方向を決定することは、
第１の境界値および第２の境界値を有するしきい値を決定することと、
前記参照パラメータにおける前記変更を前記第１の境界値および第２の境界値と比較することと、
前記参照パラメータにおける前記変更が前記しきい値の前記第１の境界値より大きい、または前記しきい値の前記第２の境界値より小さい時のみ前記フォーカス方向を決定することと、
をさらに備える、Ｃ１に記載の方法。
［Ｃ１４］
前記第１のおよび第２の境界値は、前記撮像デバイスに関連して前記オブジェクトの前記位置に対応する、Ｃ１３に記載の方法。
［Ｃ１５］
前記第１のおよび第２の境界値は、動的であり、別個のフォーカシング動作に関して調整されるように構成される、Ｃ１３に記載の方法。
［Ｃ１６］
前記フォーカス方向は、各フレームの前記参照パラメータにおける前記変更が前記第１のフレームの前記参照パラメータに関連して増加し、前記参照パラメータにおける前記変更が前記しきい値の前記第１の境界値より大きい時、より近いと決定される、Ｃ１３に記載の方法。
［Ｃ１７］
前記フォーカス方向は、各フレームの前記参照パラメータにおける前記変更が前記第１のフレームの前記参照パラメータに関連して減少し、前記参照パラメータにおける前記変更が前記しきい値の前記第２の境界値より小さい時、さらに離れていると決定される、Ｃ１３に記載の方法。
［Ｃ１８］
前記第１の境界値は、前記しきい値の上限の境界値に対応し、前記第２の境界値は、前記しきい値の下限の境界値に対応する、Ｃ１３に記載の方法。
［Ｃ１９］
撮像デバイスをフォーカスさせる方向を決定するための装置であって、
レンズと、
シーンを描写する複数のフレームをキャプチャするように構成される、イメージセンサと、
前記イメージセンサおよびレンズに動作可能に結合される、プロセッサと、
前記プロセッサに動作可能に結合されるメモリであって、
オブジェクトに対応する少なくとも１つのフレームの一部を選択するように構成される、入力処理モジュールと、
前記複数のフレームにおける前記オブジェクトをトラッキングするように構成される、オブジェクトトラッキングモジュールと、
前記複数のフレームの前記トラッキングに基づいて前記複数のフレームの各々のための前記オブジェクトの参照パラメータを決定するように構成される、参照パラメータ決定モジュールと、
前記複数のフレームのうちの少なくとも第１のフレームと第２のフレームとの間の前記参照パラメータにおける変更を検出するように構成される、変更決定モジュールと、
前記参照パラメータにおける前記変更に基づいてフォーカス方向を決定し、前記フォーカス方向に基づいて前記レンズを動かすことによってフォーカス動作を開始するように構成される、オートフォーカス制御モジュールと、
を記憶するように構成されるメモリと、
を備える、装置。
［Ｃ２０］
前記参照パラメータにおける前記変更は、前記第１および第２のフレームの前記参照パラメータ間の差である、Ｃ１９に記載の装置。
［Ｃ２１］
前記参照パラメータ決定モジュールは、前記複数のフレームにおける前記オブジェクトの各描写に関して前記オブジェクトを取り囲む関心領域を決定するように構成され、ここにおいて、各フレームのための参照パラメータは、前記関心領域の少なくとも１つの次元に基づく、Ｃ１９に記載の装置。
［Ｃ２２］
先のフォーカス動作の完了の後、前記参照パラメータ決定モジュールは、
前記先の動作から前記複数のフレームのうちの最後のフレームを識別することと、
前記先のフォーカス動作からの前記最後のフレームの参照パラメータを決定することと、
現在のフォーカス動作のための前記第１のフレームの前記参照パラメータを前記先のフォーカス動作からの前記最後のフレームの前記参照パラメータとなるように設定することと
を行うようにさらに構成される、Ｃ１９に記載の装置。
［Ｃ２３］
前記変更決定モジュールは、前記第１のフレームの前記参照パラメータと前記第１のフレームの後キャプチャされた各フレーム前記参照パラメータとの間の前記参照パラメータにおける複数の変更を備える参照パラメータ変更のセットを生成するように構成される、Ｃ１９に記載の装置。
［Ｃ２４］
参照パラメータ変更の前記セットを平滑化するために参照パラメータ変更の前記セットを調整することと、
前記第１のフレームの前記参照パラメータと前記第１のフレームの後キャプチャされる各フレームとの間の前記差のトレンドを示すパラメータ変更インジケータを生成することと
を行うように構成されるパラメータ変更インジケータモジュールをさらに備える、Ｃ２３に記載の装置。
［Ｃ２５］
パラメータ変更インジケータは、各フレームの前記参照パラメータ間の前記差の前記トレンドが前記第１のフレームの前記参照パラメータに関連して増加する時、前記オブジェクトが前記撮像デバイスにより近づいていることを示す、Ｃ２４に記載の装置。
［Ｃ２６］
パラメータ変更インジケータは、各フレームの前記参照パラメータ間の前記差の前記トレンドが前記第１のフレームの前記参照パラメータに関連して減少する時、前記オブジェクトが前記撮像デバイスからさらに離れていることを示す、Ｃ２４に記載の装置。
［Ｃ２７］
前記撮像デバイスに関連して前記オブジェクトの前記位置に基づいて第１および第２の境界値を有するしきい値を決定するように構成され、前記参照パラメータにおける前記変更を前記第１の境界値および第２の境界値と比較するように構成される、しきい値決定モジュールをさらに備える、Ｃ１９に記載の装置。
［Ｃ２８］
前記オートフォーカス制御モジュールは、前記参照パラメータにおける前記変更が前記第１の境界値より大きい、または前記第２の境界値未満である時のみ前記フォーカス方向を決定するように構成される、Ｃ２７に記載の装置。
［Ｃ２９］
撮像デバイスをフォーカスさせる方向を決定するための装置であって、
シーンを描写する複数のフレームをキャプチャするための手段と、
オブジェクトに対応する少なくとも１つのフレームの一部を選択するための手段と、
前記複数のフレームにおける前記オブジェクトをトラッキングするための手段と、
前記複数のフレームの前記トラッキングに基づいて前記複数のフレームの各々のための前記オブジェクトの参照パラメータを決定するための手段と、
前記複数のフレームのうちの少なくとも第１のフレームと第２のフレームとの間の前記参照パラメータにおける変更を検出するための手段と、
前記参照パラメータにおける前記変更に基づいてフォーカス方向を決定する手段と、
前記フォーカス方向に基づいて前記レンズを動かすことによってフォーカス動作を開始するための手段と
を備える、装置。
［Ｃ３０］
命令を備える非一時的なコンピュータ可読媒体であって、前記命令は、実行される時、プロセッサに、フォーカス動作を開始する方法を行わせ、前記方法は、
撮像デバイスでシーンを描写する複数のフレームをキャプチャすることと、
表示されたフレームにおけるオブジェクトに対応する少なくとも１つのフレームの一部を選択することと、
前記複数のフレームにおける前記オブジェクトをトラッキングすることと、ここにおいて、前記オブジェクトをトラッキングすることは、前記複数のフレームの各々に前記オブジェクトの参照パラメータを提供する、
前記複数のフレームのうちの少なくとも第１のフレームと第２のフレームとの間の前記参照パラメータにおける変更を検出することと、
前記参照パラメータにおける前記変更に基づいてフォーカス方向を決定することと、
前記フォーカス方向に基づいて前記撮像デバイスのレンズを動かすことによってフォーカス動作を開始することと
を備える、非一時的なコンピュータ可読媒体。

Claims

撮像デバイスをフォーカスさせる方向を決定する方法であって、
撮像デバイスでシーンを描写する複数のフレームをキャプチャすることと、前記複数のフレームは、第１のレンズ位置で前記撮像デバイスによってキャプチャされ、
オブジェクトに対応する少なくとも１つのフレームの一部を決定することと、
前記複数のフレームにおける前記オブジェクトをトラッキングすることと、ここにおいて、前記オブジェクトをトラッキングすることは、前記複数のフレームの各々のための前記オブジェクトの参照パラメータを提供し、
第１のフレームの前記参照パラメータと、前記第１のフレームの後にキャプチャされた各フレームのための参照パラメータとの間の複数の差を生成することと、
前記複数の差の平均値を求めることと、
前記平均値に基づいてフォーカス方向を決定することと、ここにおいて、前記フォーカス方向を決定することは、
前記撮像デバイスからの前記オブジェクトの距離に基づいて閾値を設定することと、
前記第１のフレームの前記参照パラメータ及び前記閾値に基づいて第１の境界値と第２の境界値を決定することと、
前記参照パラメータの変更が前記第１の境界値及び前記第２の境界値の間の外側であるときにおける、前記第１のフレーム及び前記各フレームの前記参照パラメータの前記変更に応じて前記フォーカス方向を決定することと
を備え、
前記決定されたフォーカス方向に基づいて前記撮像デバイスの前記レンズを前記第１のレンズ位置から第２のレンズ位置に動かすことによってフォーカス動作を開始することと
を備える、方法。
前記決定することは、
前記複数のフレームのうちの少なくとも１つのフレームを表示することと、
前記オブジェクトに対応する前記表示されたフレームの一部を選択するためにユーザ入力を受信することと
をさらに備える、請求項１に記載の方法。
前記参照パラメータは、それが描写されるフレームに関連して前記オブジェクトのサイズに対応する、請求項１に記載の方法。
前記オブジェクトを前記トラッキングすることは、
前記第１のフレームにおける前記オブジェクトのサイズを検出することと、
前記第１のフレームの後にキャプチャされた各フレームにおける前記オブジェクトのサイズを検出することと、
をさらに備える、請求項３に記載の方法。
前記複数のフレームにおける前記オブジェクトの各描写に関して前記オブジェクトを取り囲むバウンディング矩形を決定すること、ここにおいて、各フレームのための前記参照パラメータは、前記バウンディング矩形の次元に基づき、
をさらに備える、請求項１に記載の方法。
各フレームのための前記参照パラメータは、前記バウンディングボックスのｘ次元、前記バウンディング矩形のｙ次元、または前記バウンディング矩形の対角線のうちの１つに基づく、請求項５に記載の方法。
先のフォーカス動作の完了の後、
前記先のフォーカス動作からの前記複数のフレームのうちの最後のフレームを識別することと、
前記先のフォーカス動作からの前記最後のフレームの参照パラメータを決定することと、
現在のフォーカス動作のための前記第１のフレームの前記参照パラメータを前記先のフォーカス動作からの前記最後のフレームの前記参照パラメータとなるように設定することと
をさらに備える、請求項１に記載の方法。
前記複数の差を平滑化することと、
前記平滑化された複数の差を示す参照パラメータ変更インジケータを生成することと
をさらに備える、請求項１に記載の方法。
前記参照パラメータ変更インジケータは、前記平均値が前記第１のフレームの前記参照パラメータに関連して増加する時、前記オブジェクトが前記撮像デバイスにより近づいていることを示す、請求項８に記載の方法。
前記参照パラメータ変更インジケータは、前記平均値が前記第１のフレームの前記参照パラメータに関連して減少する時、前記オブジェクトが前記撮像デバイスからさらに離れていることを示す、請求項８に記載の方法。
前記フォーカス方向を決定することは、
第１の境界値および第２の境界値を有する、前記参照パラメータに対するしきい値変更を決定することと、
前記平均値を前記第１の境界値および第２の境界値と比較することと、
前記平均値が前記しきい値の前記第１の境界値より大きい、または前記しきい値の前記第２の境界値より小さい時のみ前記フォーカス方向を決定することと、
をさらに備える、請求項１に記載の方法。
前記第１のおよび第２の境界値は、前記撮像デバイスに関連して前記オブジェクトの位置に対応する、請求項１１に記載の方法。
前記第１のおよび第２の境界値は、動的であり、別個のフォーカシング動作に関して調整されるように構成される、請求項１１に記載の方法。
前記フォーカス方向は、前記平均値が前記第１のフレームの前記参照パラメータに関連して増加し、前記平均値が前記しきい値の前記第１の境界値より大きい時、より近いと決定される、請求項１１に記載の方法。
前記フォーカス方向は、前記平均値が前記第１のフレームの前記参照パラメータに関連して減少し、前記平均値が前記しきい値の前記第２の境界値より小さい時、さらに離れていると決定される、請求項１１に記載の方法。
前記第１の境界値は、前記しきい値の上限の境界値に対応し、前記第２の境界値は、前記しきい値の下限の境界値に対応する、請求項１１に記載の方法。
最後のレンズ位置を有する先のフォーカス動作の完了の後、前記参照パラメータに対するしきい値変更を前記決定することは、
前記先のフォーカス動作の前記最後のレンズ位置を識別することと、前記最後のレンズ位置は、前記撮像デバイスと前記オブジェクトとの間の距離を示し、
前記撮像デバイスと前記オブジェクトとの間の前記距離に関連するしきい値を読み出すことと、ここにおいて、前記しきい値は、前記撮像デバイスと前記オブジェクトとの間の複数の距離のうちのある距離に各々関連する複数のしきい値のうちの１つであり、
前記現在のフォーカス動作の前記参照パラメータに対する前記しきい値変更を前記読み出されたしきい値に設定することと
をさらに備える、請求項１１に記載の方法。
撮像デバイスをフォーカスさせる方向を決定するための装置であって、
レンズと、
シーンを描写する複数のフレームをキャプチャするように構成される、イメージセンサと、前記複数のフレームは、第１のレンズ位置で前記撮像デバイスによってキャプチャされ、
フォーカシング命令を記憶するメモリ回路と、
前記イメージセンサ、レンズ、および前記メモリ回路に動作可能に結合される、少なくとも１つのプロセッサであって、少なくとも、
オブジェクトに対応する少なくとも１つのフレームの一部を決定することと、
前記複数のフレームにおける前記オブジェクトをトラッキングすることと、
前記複数のフレームの前記トラッキングに基づいて前記複数のフレームの各々のための前記オブジェクトの参照パラメータを決定することと、
第１のフレームの前記参照パラメータと、前記第１のフレームの後にキャプチャされた各フレームのための参照パラメータとの間の複数の差を生成することと、
前記複数の差の平均値を求めることと、
前記平均値に基づいてフォーカス方向を決定し、前記フォーカス方向に基づいて前記レンズを前記第１のレンズ位置から第２のレンズ位置に動かすことによってフォーカス動作を開始することと、ここにおいて、前記フォーカス方向を決定することは、
前記撮像デバイスからの前記オブジェクトの距離に基づいて閾値を設定することと、
前記第１のフレームの前記参照パラメータ及び前記閾値に基づいて第１の境界値と第２の境界値を決定することと、
前記参照パラメータの変更が前記第１の境界値及び前記第２の境界値の間の外側であるときにおける、前記第１のフレーム及び前記各フレームの前記参照パラメータの前記変更に応じて前記フォーカス方向を決定することと
を備え、
を行うための前記命令によって構成される少なくとも１つのプロセッサと、
を備える、装置。
前記少なくとも１つのプロセッサは、前記複数のフレームにおける前記オブジェクトの各描写に関して前記オブジェクトを取り囲む関心領域を決定するように構成され、ここにおいて、各フレームのための参照パラメータは、前記関心領域の少なくとも１つの次元に基づく、請求項１８に記載の装置。
先のフォーカス動作の完了の後、前記少なくとも１つのプロセッサは、
前記先の動作からの前記複数のフレームのうちの最後のフレームを識別することと、
前記先のフォーカス動作からの前記最後のフレームの参照パラメータを決定することと、
現在のフォーカス動作のための前記第１のフレームの前記参照パラメータを前記先のフォーカス動作からの前記最後のフレームの前記参照パラメータとなるように設定することと
を行うようにさらに構成される、請求項１８に記載の装置。
前記少なくとも１つのプロセッサは、
前記複数の差を平滑化することと、
前記平滑化された複数の差を示すパラメータ変更インジケータを生成することと
を行うように構成される、請求項１８に記載の装置。
パラメータ変更インジケータは、前記平均値が前記第１のフレームの前記参照パラメータに関連して増加する時、前記オブジェクトが前記撮像デバイスにより近づいていることを示す、請求項２１に記載の装置。
パラメータ変更インジケータは、前記平均値が前記第１のフレームの前記参照パラメータに関連して減少する時、前記オブジェクトが前記撮像デバイスからさらに離れていることを示す、請求項２１に記載の装置。
前記少なくとも１つのプロセッサは、前記撮像デバイスに関連して前記オブジェクトの前記位置に基づいて第１のおよび第２の境界値を有する、前記参照パラメータに対するしきい値変更を決定するように構成され、平均値を前記第１の境界値および第２の境界値と比較するように構成される、請求項１８に記載の装置。
前記少なくとも１つのプロセッサは、前記平均値が前記第１の境界値より大きい、または前記第２の境界値より小さい時のみ前記フォーカス方向を決定するように構成される、請求項２４に記載の装置。
前記メモリ回路は、前記撮像デバイスと前記オブジェクトとの間の複数の距離と複数のしきい値の関連性を記憶し、ここにおいて、最後のレンズ位置で先のフォーカス動作の完了の後、前記少なくとも１つのプロセッサは、
前記先のフォーカス動作の前記最後のレンズ位置を識別することと、前記最後のレンズ位置は、前記撮像デバイスと前記オブジェクトとの間の距離を示す、
前記メモリ回路から、前記撮像デバイスと前記オブジェクトとの間の前記距離に関連するしきい値を読み出すことと、
前記現在のフォーカス動作の前記参照パラメータに対する前記しきい値変更を前記読み出されたしきい値に設定することと
を行うように構成される、請求項２４に記載の方法。
撮像デバイスをフォーカスさせる方向を決定するための装置であって、
第１のレンズ位置でシーンを描写する複数のフレームをキャプチャするための手段と、
オブジェクトに対応する少なくとも１つのフレームの一部を決定するための手段と、
前記複数のフレームにおける前記オブジェクトをトラッキングするための手段と、
前記複数のフレームの前記トラッキングに基づいて前記複数のフレームの各々のための前記オブジェクトの参照パラメータを決定するための手段と、
第１のフレームの前記参照パラメータと前記第１のフレームの後にキャプチャされた各フレームのための前記参照パラメータとでの間の複数の差を検出するための手段と、
前記複数の差の平均値を求めるための手段と、
前記平均値に基づいてフォーカス方向を決定するための手段と、ここにおいて、前記フォーカス方向を決定するための手段は、
前記撮像デバイスからの前記オブジェクトの距離に基づいて閾値を設定するための手段と、
前記第１のフレームの前記参照パラメータ及び前記閾値に基づいて第１の境界値と第２の境界値を決定するための手段と、
前記参照パラメータの変更が前記第１の境界値及び前記第２の境界値の間の外側であるときにおける、前記第１のフレーム及び前記各フレームの前記参照パラメータの前記変更に応じて前記フォーカス方向を決定するための手段と
を備え、
前記フォーカス方向に基づいて前記フォーカスするための手段を第１の位置から第２の位置に動かすことによってフォーカス動作を開始するための手段と
を備える、装置。
命令を備える非一時的なコンピュータ可読媒体であって、前記命令は、実行される時、プロセッサに、フォーカス動作を開始する方法を行わせ、前記方法は、
第１のレンズ位置で、撮像デバイスでシーンを描写する複数のフレームをキャプチャすることと、
オブジェクトに対応する少なくとも１つのフレームの一部を決定することと、
前記複数のフレームにおける前記オブジェクトをトラッキングすることと、ここにおいて、前記オブジェクトをトラッキングすることは、前記複数のフレームの各々のための前記オブジェクトの参照パラメータを提供し、
第１のフレームの前記参照パラメータと、前記第１のフレームの後にキャプチャされた各フレームのための参照パラメータとの間の複数の差を生成することと、
前記複数の差の平均値を求めることと、
前記平均値に基づいてフォーカス方向を決定することと、ここにおいて、前記フォーカス方向を決定することは、
前記撮像デバイスからの前記オブジェクトの距離に基づいて閾値を設定することと、
前記第１のフレームの前記参照パラメータ及び前記閾値に基づいて第１の境界値と第２の境界値を決定することと、
前記参照パラメータの変更が前記第１の境界値及び前記第２の境界値の間の外側であるときにおける、前記第１のフレーム及び前記各フレームの前記参照パラメータの前記変更に応じて前記フォーカス方向を決定することと
を備え、
前記フォーカス方向に基づいて前記撮像デバイスのレンズを前記第１のレンズ位置から第２のレンズ位置に動かすことによってフォーカス動作を開始することと
を備える、非一時的なコンピュータ可読媒体。