JP6682550B2 - 連続オートフォーカスのためのシステムおよび方法 - Google Patents

Description

[0001]この出願は一般にイメージングシステム(imaging systems)に関し、特に連続自動フォーカスに関する物体を追跡することに関する。

[0002]オートフォーカスシステムは物体のフォーカス(focus)を合わせ続けるためにイメージセンサとレンズ素子との間の距離を自動的に調整する。これらのシステムの多くはフォーカスしている画像内の高周波成分に基づいて最良のフォーカスを決定する。たとえば、高周波成分を最大にするレンズ位置は最良のコントラスト比を有する画像を表し、したがってベストフォーカスを表すことができる。しかしながら、既存のオートフォーカスシステムは物体がカメラに対して移動するとフォーカスを失う可能性がある。それゆえ、移動する物体に対してフォーカスを連続的かつ自動的に維持するシステムおよび方法の必要がある。

[0003]本開示のいくつかの実例（sample）の態様の概要が以下に続く。便宜的に、本開示の１つまたは複数の態様はここでは単に「いくつかの態様」と呼ばれることができる。

[0004]ここに開示されている方法、および装置またはデバイスは各々、いくつかの態様を有し、それらのうちのいずれも、その望ましい属性を単独で担いはしない。例えば、後続するクレームによって表される本開示の範囲を限定することなしに、そのより顕著な特徴が簡潔に論述される。本論述を考慮した後、特に「発明を実施するための形態」と題するセクションを読んだ後、当業者は、連続オートフォーカスに関して物体を追跡可能にすることを含むを含む利点を記載された特徴がどのように提供するかを理解するだろう。

[0005]１つの態様はカメラをフォーカスする方法である。種々の実施形態において、方法はシーン(scene)の第１および第２のイメージを連続して撮像することを含むことができる。この方法は、第１の画像内の第１の物体の第１のサイズを決定することをさらに含むことができる。この方法は第２の画像内の第１の物体の第２のサイズを決定することをさらに含むことができる。この方法は、第１のサイズと第２のサイズとの間の差分に基づいてカメラをフォーカスすることをさらに含むことができる。

[0006]いくつかの態様に関して、方法は第１の境界領域(bounding region)が第１の画像内に第１の物体を含むと決定することをさらに含むことができる。いくつかのインプリメンテーションに関して、方法は第２の境界領域が第２の画像内に第１の物体を含むと決定することをさらに含むことができる。いくつかのインプリメンテーションに関して、方法は第１の境界領域と第２の境界領域との間の差分に基づいてカメラをフォーカスすることをさらに含むことができる。

[0007]いくつかのインプリメンテーションにおいて、方法は第１の境界領域のエリアと第２の境界領域のエリアとの間の差分に基づいてカメラをフォーカスすることをさらに含むことができる。

[0008]いくつかのインプリメンテーションに関して、方法は第２の境界領域のエリアと第１の境界領域のエリアとの間の比を決定することをさらに含むことができる。いくつかのインプリメンテーションに関して、方法は比がサイズ減少しきい値未満あるいはサイズ増加しきい値を超えることに基づいてカメラをフォーカスすることをさらに含むことができる。

[0009]いくつかのインプリメンテーションにおいて、方法は差分が領域差分しきい値を超える場合にカメラをフォーカスすることをさらに含むことができる。いくつかのインプリメンテーションにおいて、方法は差分が領域差分しきい値を超えない場合にカメラのフォーカスを維持することをさらに含むことができる。

[0010]いくつかのインプリメンテーションに関して、方法は第１および第２の画像を複数の対応する領域に分割する(segment)ことをさらに含むことができる。いくつかのインプリメンテーションにおいて、方法は第１の画像内の第１の領域が第１の物体を含むと決定することをさら含み、第２の画像内の対応する第２の領域。いくつかのインプリメンテーションに関して、方法は第１の領域と第２の領域内の画像コンテンツ間の第１の差分を決定することをさらに含むことができる。いくつかのインプリメンテーションに関して、方法は画像コンテンツ内の第１の差分に基づいてカメラをフォーカスすることをさらに含むことができる。

[0011]いくつかのインプリメンテーションに関して、方法はカメラをフォーカスするとき、複数の領域のうち第１の物体を含まないと決定された領域を考慮しない(exclude from consideration)ことをさらに含むことができる。

[0012]いくつかのインプリメンテーションに関して、方法は第２の画像内の第３の領域が第１の物体を含むと決定することをさらに含むことができる。いくつかのインプリメンテーションに関して、方法は第３の時間に物体の第３の画像を撮像することをさらに含むことができ、第３の時間は第２の時間の後である。いくつかのインプリメンテーションにおいて、方法は第３の画像内の第４の領域が第３の領域に対応すると決定することをさらに含むことができる。いくつかのインプリメンテーションに関して、方法は第３の領域と第４の領域内の画像コンテンツ間の第２の差分を決定することをさらに含むことができる。いくつかのインプリメンテーションに関して、方法は画像コンテンツ内の第２の差分に応答してカメラをフォーカスすることをさらに含むことができる。

[0013]別の態様は撮像装置である。撮像装置はシーンの第１および第２の画像をシーケンシャルに撮像するように構成されたカメラを含むことができる。撮像装置はカメラと通信しているプロセッサを含むことができる。プロセッサは第１の画像内の第１の物体の第１のサイズを決定するように構成されることができる。プロセッサは第２の画像内の第１の物体の第２のサイズを決定するようにさらに構成されることができる。撮像装置は第１のサイズおよび第２のサイズの間の差分に基づいてカメラをフォーカスするように構成されたカメラコントローラを含むことができる。

[0014]いくつかの態様に関して、プロセッサは第１の境界領域が第１の画像内に第１の物体を含むと決定するようにさらに構成される。いくつかのインプリメンテーションに関して、プロセッサは第２の境界領域が第２の画像内に第１の物体を含むと決定するようにさらに構成される。いくつかのインプリメンテーションに関して、プロセッサは第１の境界領域と第２の境界領域との間の差分に基づいてカメラをフォーカスするようにさらに構成される。

[0015]いくつかのインプリメンテーションに関して、カメラコントローラは、第１の境界領域のエリアと第２の境界領域のエリアとの間の差分に基づいてカメラをフォーカスするようにさらに構成される。

[0016]いくつかのインプリメンテーションに関して、プロセッサは、第２の境界領域のエリアと第１の境界領域のエリアとの間の比を決定するようにさらに構成される。いくつかのインプリメンテーションに関して、カメラコントローラは比がサイズ減少しきい値未満かまたはサイズ増加しきい値を超えることに基づいてカメラをフォーカスするようにさらに構成される。

[0017]いくつかのインプリメンテーションに関して、カメラコントローラは差分が領域差分しきい値を超える場合にカメラをフォーカスするように構成される。いくつかのインプリメンテーションに関して、カメラコントローラは差分が領域差分しきい値を超えない場合にカメラのフォーカスを維持するように構成される。

[0018]いくつかのインプリメンテーションに関して、プロセッサは第１および第２の画像を複数の対応する領域に分割するようにさらに構成される。いくつかのインプリメンテーションに関して、プロセッサは第１の物体を含む第１の画像内の第１の領域と、第２の画像内の対応する第２の領域を決定するようにさらに構成される。いくつかのインプリメンテーションに関して、プロセッサは第１の領域と第２の領域における画像コンテンツ間の第１の差分を決定するようにさらに構成される。いくつかのインプリメンテーションに関して、カメラコントローラは画像コンテンツ内の第１の差分に基づいてカメラをフォーカスするようにさらに構成される。

[0019]いくつかのインプリメンテーションに関して、プロセッサは、カメラをフォーカスするとき、複数の領域のうち第１の物体を含まないと決定された領域を考慮しないようにさらに構成される。

[0020]いくつかのインプリメンテーションに関して、プロセッサは第２の画像内の第３の領域が第１の物体を含むと決定するようにさらに構成される。いくつかのインプリメンテーションに関して、プロセッサは第３の時間に物体の第３の画像を撮像するようにさらに構成され、第３の時間は第２の時間の後である。いくつかのインプリメンテーションに関して、プロセッサは第３の領域に対応する第３の画像内の第４の領域を決定するようにさらに構成され、プロセッサは第３の領域および第４の領域内の画像コンテンツ間の第２の差分を決定するようにさらに構成され、および前記カメラコントローラは画像コンテンツ内の第２の差分に応答してカメラをフォーカスするようにさらに構成される。

[0021]別の態様は撮像装置である。装置はシーンの第および第２の画像を連続的に撮像する手段を含むことができる。装置は第１の画像内の第１の物体の第１のサイズを決定する手段を含むことができる。装置は第２の画像内の第１の物体の第２のサイズを決定する手段を含むことができる。装置は第１のサイズおよび第２のサイズ間の差分に基づいて撮像手段をフォーカスする手段を含むことができる。

[0022]いくつかのインプリメンテーションに関して、撮像手段はカメラを含むことができる。いくつかの態様に関して第１のサイズ決定手段はプロセッサを含むことができる。いくつかの態様に関して第２のサイズ決定手段はプロセッサを含むことができる。いくつかの態様に関して、フォーカス手段はカメラコントローラを含むことができる。

[0023]別の態様は、カメラをフォーカスするための命令を記憶する非一時的コンピュータ可読媒体であり、命令は、実行されると方法を実行する。方法はシーンの第１および第２の画像を連続的に撮像することを含むことができる。方法は第１の画像内の第１の物体の第１のサイズを決定することを含むことができる。方法は、第２の画像内の第１の物体の第２のサイズを決定することを含むことができる。方法は第１のサイズと第２のサイズとの間の差分に基づいてカメラをフォーカスすることを含むことができる。

[0024]シーンの画像を記録することができるイメージングシステム(an imaging system)を含む装置（例えば、モバイル通信デバイス）の例を説明する。 [0025]連続オートフォーカスの物体を追跡するイメージングシステムの一実施形態の一例のブロック図表示。 [0026]連続オートフォーカスの方法の一例を説明するフローチャート。 [0027]３つの異なる時間：物体にフォーカスした後、物体が移動する前、および物体が新しい位置に移動した後、のモニタ領域内の物体を含むシーンの表示。 [0028]モニタ領域内の変化がモニタ領域内のスイッチ並びにフォーカスイベントをトリガする、第１の画像内の第１のモニタ領域内の第１の位置から第２の画像内の第２のモニタ領域内の第２の位置へ移動する物体の表示。 [0029]サイズ比の変化が境界ボックス比減少しきい値未満であるとき、あるいはサイズ比の変化が境界ボックス比増加しきい値より大きいときフォーカスイベントがトリガされる、物体の第１のサイズに比較して異なるサイズ比における境界ボックス内の物体の表示。 [0030]ここに記載される実施形態に従う連続オートフォーカスに関する処理の方法を説明するフローチャート。

詳細な説明

[0031]以下の詳細な記述は本発明のある特定の実施形態に向けられている。しかしながら、本発明は多数の異なる方法で具現化されることができる。ここでの態様は、多種多様な形式に組み込まれ、およびここで開示されるべき任意の特定の構造、機能、またはその両方が単に代表的なものであり得ることはあきらかであるはずである。ここでの教示に基づいて、当業者は、ここに開示された態様が任意の他の態様と独立してインプリメントされることができ、これらの態様の２以上が種々の方法で結合されることができることが理解されるはずである。たとえば、ここに説明される任意の数の態様を使用して、装置がインプリメントされることができ、方法が実施されることができる。さらに、他の構造および機能、または、ここに説明される態様のうちの１つ以上以外の、または、それらに追加された構造および機能を使用して、そのような装置がインプリメントされることができ、そのような方法が実施されることができる。

[0032]さらに、ここに記載されるシステムおよび方法はカメラを設ける(host)多種多様の異なるコンピューティングデバイス上にインプリメントされることができる。これらはモバイルフォン、タブレット、専用カメラ、ウェアラブルコンピュータ、パーソナルコンピュータ、フォトブースまたはキオスク、パーソナルデジタルアシスタンツ、ウルトラモバイルパーソナルコンピュータ、およびモバイルインターネットデバイスを含む。それらは汎用または特殊用途のコンピューティングシステム環境または構成を使用することができる。この発明とともに使用するのに適し得るコンピューティングシステム、環境、および／または構成は、限定されるものではないが、パーソナルコンピュータ、サーバーコンピュータ、ハンドヘルドまたはラップトップデバイス、マルチプロセッサシステム、マイクロプロセッサベースシステム、プログラマブルコンシューマーエレクトロニクス、ネットワークＰＣｓ、ミニコンピュータ、メインフレームコンピュータ、上述したシステムまたはデバイスのいずれかを含む分散コンピューティング環境および同様のものを含む。

[0033]オートフォーカスシステムはレンズエレメントとイメージセンサとの間の異なる距離におけるフォーカスパラメータを測定し、フォーカスパラメータを最適化する距離を選択する。たとえば、ピントが合った画像は典型的にピントが合っていない画像よりも高い周波数コンテンツを有するので、フォーカスパラメータは視野の一部内の高周波数コンテンツの測定値であり得る。既存のシステムは視野の一部に基づいてフォーカスパラメータを決定することにより全視野のフォーカスパラメータを測定する計算負荷を低減する。この部分は視野の中央領域、ユーザにより選択された領域、または物体を含む領域であり得る。物体は自動的に（例えば、自動顔認識を用いて）検出されることができまたはユーザにより選択されることができる。中央視野、ユーザにより選択された領域、自動的に検出された物体を含む領域、またはユーザにより選択された物体を含む領域であろうとなかろうと、視野のこの部分に関するフォーカス測定値はレンズエレメントとイメージセンサとの間の異なる差分で計算され、フォーカスパラメータを最適化する距離が選択される。コントローラは画像をフォーカスするために最適なフォーカスパラメータを有する距離にレンズを移動する。しかしながら、既存のオートフォーカスシステムは物体が移動するとフォーカスを失う可能性がある。

[0034]物体は、オートフォーカスシステムによりモニタされる視野の一部内を移動するかあるいはオートフォーカスシステムによりモニタされる視野の一部に移動することができる。側面移動に加えて、物体はカメラに近づくにつれより大きく見えるかあるいはカメラから遠ざかるにつれより小さく見えることができる。これらのイベントの各々は物体がフォーカスを失わさせる可能性がある。それゆえ、ここに開示される連続オートフォーカスシステムは物体が移動するとフォーカスイベントをトリガすることができる。

[0035]フォーカスされる物体はタッチスクリーンを用いて選択されることができるか、または画像処理およびパターン認識技術を用いて自動的に決定されることができる。物体は境界ボックスまたは凸閉包(convex hull)のようなエンクロージャ内に囲まれる(enclose)ことができる。境界ボックス、典型的には、物体を含む小型の方形形状はフォーカスパラメータを測定するために使用されることができる。境界ボックスは最小の境界ボックスであり得る。いくつかの態様において、境界ボックスの側面は画像の縦横(rows and columns)と整列(aligned with)されている。

[0036]連続オートフォーカスシステムは視野を非重畳モニタ領域に分割することができる。たとえば、いくつかのインプリメンテーションは４つの行および４つの列（４×４）から成るモニタ領域を持つことができる。いくつかのインプリメンテーションにおいて、行列の数は、２×２、３×３、４×４、８×８、１６×１６ように等価であり得、またはその他のインプリメンテーションでは、モニタ領域は非対称であり例えば、２×４または４×２のように配列されることができる。連続オートフォーカスシステムは全視野をモニタする代わりにフォーカスパラメータを決定するためのこれらの領域のサブセットをモニタすることができる。たとえば、いくつかのインプリメンテーションは１、２、３、または４つの領域を測定することができる。たとえば、１２の領域を有するインプリメンテーションにおいて、１つの領域のみがモニタされる場合、全視野のわずか１／１２がモニタされる。

[0037]開示された連続オートフォーカスシステムは最初に物体を含む可能性のある全領域のサブセットを識別することができる。いくつかのインプリメンテーションに関して、「物体を含む」は物体がたった１つの領域に含まれることを可能にするように定義されることができる。これらのインプリメンテーションは、たとえば、物体のセントロイド(centroid)、境界領域の中心、その他のいかなる領域よりも大きな、物体のエリアの部分、あるいは他のいかなる領域よりも大きな、境界領域のエリアの部分の１つを含むものとして物体を含むことを定義することができる。いくつかのインプリメンテーションに関して、「物体を含む」は物体が２以上の領域に含まれることを可能にするように定義されることができる。これらのインプリメンテーションは、たとえば、物体の一部または境界領域の一部の１つを含むとして物体を含むことを定義することができる。

[0038]物体を含む可能性のある全領域のサブセットを識別した後で、開示されたシステムはサブセットのフォーカスパラメータを用いて物体をフォーカスする。サブセット内ではない他の領域はカメラをフォーカスするとき考慮から排除されることができる。一度フォーカスすると、連続オートフォーカスシステムはフォーカスされたフレームに関するサブセット内の領域を後続の画像内の対応する領域（複数の場合もある）と比較する。差があるとき、たとえば、差がしきい値を超えるとき、連続オートフォーカスシステムはフォーカスイベントをトリガすることができる。物体がモニタされる領域の現在のサブセット内に無い異なる領域に移動する場合には、連続オートフォーカスシステムは領域のサブセット内の新しい領域を含むことができる。さらに、他の領域は、モニタされている領域のサブセットから除去されることができる。フォーカスイベントはまた物体が異なる領域に移動するとトリガされることができる。

[0039]いくつかの態様において、単一の領域がモニタされることができる。これらの態様において、物体が２以上の領域に及ぶ場合、物体に関するモニタ領域は、物体のセントロイドを有する領域、境界ボックスの中心を有する領域、または物体の最大のパーセンテージを有する領域、または物体の境界ボックス／エンクロージャの最大のパーセンテージを有する領域のような基準に基づいて割り当てられることができる。

[0040]連続オートフォーカスシステムは従前のフォーカスイベントからの物体のサイズを追跡することができる。サイズは、たとえば、物体がカメラに近づくまたは遠ざかる場合に変化することができる。物体のサイズは各画像内で直接、または言い換えれば、物体自身の境界アウトライン(boundary outline)に基づいて測定されることができる。代替的に、物体に関する境界ボックス／エンクロージャのサイズは物体の相対サイズを推定するために使用されることができる。境界ボックスのエリア内の変化は従前のフォーカスイベントからの物体サイズ内の変化の推定として使用されることができる。いくつかのインプリメンテーションに関して、連続オートフォーカスシステムは最後のフォーカスイベントからの比またはパーセントのサイズ変化を使用する。

[0041]したがって、いくつかのインプリメンテーションは物体の画像のサイズに変化があるとき、モニタされている領域（複数の場合もある）、すなわち物体が位置している領域（複数の場合もある）に変化があるとき、またはモニタされる領域（複数の場合もある）の画像コンテンツ内に変化があるとき移動物体上のフォーカスを改良するためにフォーカスイベントをトリガする。フォーカスはまた既存システムよりも効率的に、およびより大きな計算効率で達成することができる。

[0042]図１はシーンの画像を記録することができる撮像システムを含む装置（例えば、モバイル通信デバイス）の一例を例示する。装置１００はディスプレイ１２０を含む。装置１００はまた図示されない装置の背面にカメラを含むことができる。ディスプレイ１２０はカメラの視野１３０内で撮像された画像を表示することができる。装置１００内の処理ロジックは視野１３０を、領域境界１４０を有する複数の領域に分割することができる。図１は視野１３０内に物体１５０、すなわち人を示す。物体１５０は領域１４５内にもある。装置１００内の処理ロジックは物体１５０を検出し物体１５０を包含する境界領域を決定する。いくつかの態様において、決定された領域は多角形または方形であり得る。図示するように、装置１００内の処理ロジックは物体１５０を包含する境界領域（境界ボックス）１６０を決定した。この例において、境界ボックス１６０は視野１３０を構成する画像エレメントの行および列に整列(aligned with)される。いくつかの態様において、境界領域は物体１５０を包含するのに十分な最適の大きさ(only large enough)であり得、したがって最小の境界ボックスであり得る。

[0043]図２は図１に示される装置１００の一実施形態の内部ブロック図である。装置１００はカメラ１１０、ディスプレイ１２０、ユーザ入力装置２４０、電子プロセッサ２５０および電子メモリ２６０を含む。プロセッサ２５０はディスプレイ１２０、カメラ１１０、ユーザ入力デバイス２４０、およびメモリ２６０に動作可能に接続される。カメラ１１０はレンズ２１０、カメラコントローラ２２０、およびイメージングセンサ２３０を含む。カメラコントローラ２２０およびイメージングセンサはプロセッサ２５０と通信している。

[0044]イメージングセンサ（イメージセンサ、センサ）２３０はセンサ２３０の分解能により制限された空間分解能で画像を撮像する。センサ１１６は、各画像フレームに関する露光期間に各ピクセルにおける入射光の強度を決定するコンプリメンタリメタルオキサイドセミコンダクタ（ＣＭＯＳ）技術、または電荷結合素子（ＣＣＤ）のような半導体技術を使用することができる画素（ピクセル）の行および列を構成することができる。いくつかの実施形態において、入射光はカラー画像を取り込むために１つまたは複数のスペクトル領域にフィルタされることができる。たとえば、センサ１１６上のバイエルフィルタモザイク(Bayer filter mosaic)は赤、緑、青フィルタを用いて光をフィルタすることができる。フルカラーの３つのバンド画像(band images)を撮像する。

[0045]カメラコントローラ２３０はフォーカスするためのレンズ２１０（または少なくとも１つのレンズ素子）の移動、および／または露光（および／または露光期間）を制御するためにどのくらい開口部を開くか、および／または制御センサ２３０特性（例えば、利得）を動作可能に制御することができる。

[0046]メモリ２６０はプロセッサ２５０が機能を実行するように構成するプロセッサ命令を記憶することができる。例えば、命令はカメラ１１０を用いて１つまたは複数の画像を撮像し、撮像された画像をディスプレイ１２０上に表示するようにプロセッサを構成することができる。命令はまたここで述べた撮像処理方法を含む、種々の画像処理タスクを実行するようにプロセッサ２５０を構成することができる。

[0047]いくつかの実施形態に関して、プロセッサ１６０は以下の図３に描画されたフローチャート内のブロックに関連した機能性を実行（または処理）することができる。たとえば、プロセッサ２５０は物体を選択する３１０機能性、物体をフォーカスする３２０機能性、物体３３０を有する領域をモニタする３３０機能性、領域（複数の場合もある）内の画像が変化したかどうかを決定する機能性３４０、物体の位置を追跡する３５０機能性、物体領域（複数の場合もある）が変化したかどうかを決定する３６０機能性、領域（複数の場合もある）を変化させる機能性、オブジェクトサイズを追跡する３８０機能性、および／またはオブジェクトサイズが変化したかどうかを決定する３９０機能性を実行（または処理）するように構成されることができる。いくつかの態様において、プロセッサは図７に関して以下に述べた１つまたは複数の機能性を実行するようにメモリ２６０内に記憶された命令により構成されることができる。

[0048]ディスプレイ１２０はプロセッサ１６０からディスプレイ１２０に通信される画像を表示するように構成される。いくつかのインプリメンテーションに関して、ディスプレイ１２０はユーザフィードバック、例えば、選択されたフレームセグメントを示すフォーカスのためのタッチ(touch-to-focus)のための注釈を表示する。いくつかのインプリメンテーションに関して、ディスプレイ１２０はユーザ入力を促すメニューを表示する。

[0049]ユーザ入力デバイス２４０はユーザ入力を受け取るように構成される。いくつかの実施形態において、ユーザ入力デバイス２４０はディスプレイ１２０に含まれるタッチスクリーンである。いくつかのインプリメンテーションにおいて、タッチスクリーン２４０はユーザからのマルチタッチ入力を受け取る。いくつかのインプリメンテーションにおいて、メモリ２６０内の命令は、画像内の領域を選択するユーザ入力デバイス２４０からの入力を受け取るようにプロセッサを構成することができる。選択された領域はユーザカメラをフォーカスしたい物体を含むことができる。いくつかのインプリメンテーションにおいて、複数の領域はディスプレイ１２０上に表示された画像上に重ね合わせられることができる。ユーザ入力デバイス２４０は重ね合わされた領域の１つを選択する入力を受信することができる。次に、選択された領域はカメラ１１０のフォーカスを決定するためにプロセッサ２５０により使用されることができる。

[0050]図３は連続オートフォーカスに関する例示方法３００のフローチャートである。ブロック３１０において、方法３００は物体を選択する。方法３００は自動的にまたは手動で物体を選択することができる。いくつかの態様において、プロセッサ２５０は画像内の複数の明暗度(intensity values)に基づいて物体検出または物体認識システムを用いて自動的に物体を選択することができる。いくつかの態様に関して、プロセッサ２５０は物体を識別するために顔認識技術を用いることができる。物体を自動的に識別するために取られる手法はアプリケーションまたはコンテキストに依存することができ、それはユーザ入力デバイス２４０を介してユーザ選択可能であり得る。

[0051]いくつかの態様において、物体の選択はユーザ入力デバイス２４０から受信された入力に基づくことができる。たとえば、上述したように、ユーザはユーザ入力デバイス２４０を用いて物体または画像の領域を選択することができる。いくつかの態様において、入力は物体を実質的に包含する境界ボックスのコーナー(corners)を指定することができる。ユーザが画像の領域を選択擦ることを可能にする態様において、プロセッサ２５０は次にブロック３１０において物体を選択するために選択された領域内で物体検出を行うことができる。

[0052]ブロック３１５において、方法３００は物体に関するモニタ領域を決定する。いくつかの態様において、イメージングセンサの視野は複数の領域に分割されることができる。これらの領域の１つまたは複数は選択された物体に関するモニタ領域（複数の場合もある）として選択されることができる。上述したように、モニタされた領域（複数の場合もある）は選択された物体のすべてまたは実質的な部分を含むことができる。いくつかの態様において、方法３００は例えば、１つまたは複数の選択された領域内の選択された物体の周囲の境界領域を発生することにより、物体を包含することができる。いくつかの態様において、境界領域は最小境界ボックスであり得、および／または多角形または方形のような形状であり得る。いくつかの態様において、境界領域は画像の行および列に整列されることができる。

[0053]ブロック３２０において、方法３００はカメラを物体にフォーカスする。いくつかの態様において、カメラはブロック３１５において決定されたモニタ領域（複数の場合もある）に基づいて物体にフォーカスされる。例えば、モニタ領域の画像コンテンツはカメラをフォーカスするために評価されることができる。一実施形態において、ブロック３２０において、方法３００は異なる焦点面距離(focal plane distances)を通り、異なる焦点面距離の各々においてモニタされた領域のフォーカスパラメータを測定し、カメラをフォーカスするフォーカス面であるようにフォーカスパラメータを最適化するフォーカスプレーン距離を選択する。例えば、フォーカスパラメータは特定の焦点距離における高周波コンテンツを測定することができる。いくつかの態様において、カメラは、ブロック３１５および／または３７０（以下に述べられる）において決定された現在モニタされている領域の部分ではない１つまたは複数の領域の考慮なしにブロック３２０においてフォーカスされることができる。画像のいくつかの領域はカメラの最良のフォーカス位置を決定することに関連した計算上のオーバヘッドを低減するために考慮から排除されることができる。処理される必要がある画像データの量を低減することにより、オートフォーカスはより迅速かつ効率的に実行されることができる。

[0054]ブロック３３０において、方法３００は物体を含む領域（複数の場合もある）の画像コンテンツをモニタする。上述したように、方法３００は撮像された画像を非オーバラップ領域に分割することができる。これらの領域の１つまたは複数はブロック３１０において選択された物体のロケーション(location)に基づいてモニタリングするために選択されることができる。他の領域はモニタリングから排除されることができる。

[0055]判断ブロック３４０において、領域内の画像が変化した場合、カメラはブロック３２０において物体に再フォーカスされる。いくつかの態様において、ブロック３４０において領域が変化したかどうかはしきい値に対する変化した画像コンテンツの量の比較に基づくことができる。たとえば、変化したピクセルの数がしきい値を超える場合、領域の画像コンテンツは判断ブロック３４０のいくつかの態様において変化されたと考察される。いくつかの態様は、現在の画像と、従前のフォーカスが適用された画像との間の差分画像を決定することができる。ブロック３２０によるリフォーカス(refocus)を保証するために画像が十分変化したかどうかを決定するために、差分画像の絶対値は加算されることができ、加算値は領域差分しきい値と比較されることができる。いくつかの態様において、絶対値関数は差分値を二乗するような他の関数に置き換えることができる。いくつかの実施形態において、方法３００は露光指数またはフォーカス値のような、１つまたは複数のセンサ２３０情報統計学(information statistics)における差分を決定する。いくつかの実施形態において、大域的運動（すなわち、ジッタからの）がリフォーカス(refocus)をトリガするので、画像を登録する必要はない。モニタされた領域（複数の場合もある）が実質的に（あるいはしきい値を超えて変化しなかったと判断ブロック３４０が決定した場合、方法３００はブロック３３０に戻り、それはさらなる連続に撮像された画像を介して領域（複数の場合もある）をモニタし続ける。

[0056]ブロック３５０は上述した複数の領域内の選択された物体のロケーションを追跡する。選択された物体のロケーションを追跡することは対応する一連の画像フレーム内の物体の現在のロケーションを示す一連の出力を生成することを含むことができる。この一連の出力は次に以下に詳細に述べるように判断ブロック３６０により評価されることができる。

[0057]ブロック３５０はインプリメンテーションに依存して種々の方法を用いて複数の領域内の物体のロケーションを追跡することができる。例えば、いくつかの態様において、物体のロケーションは物体の計算されたセントロイドに基づくことができる。これらのインプリメンテーションでは、いずれの領域が物体のセントロイドを保持してもモニタされる領域である。他のすべての領域はこのインプリメンテーションではモニタされなくてよい。

[0058]他の態様は複数の領域を追跡することができる。例えば、いくつかの態様において、物体の少なくとも一部または物体の境界を示す領域を含むすべての領域はモニタされることができる。物体の一部（または物体の境界を示す領域）を含まない領域はこれらのインプリメンテーションではモニタされなくてよい。

[0059]他のインプリメンテーションにおいて、物体に関する一連の境界領域は対応する一連の画像フレームに関して決定されることができる。境界領域の中心点はどの領域（複数の場合もある）に、物体が位置されるかを決定するために使用されることができる。たとえば、中心が新しい領域に入る場合、物体を含む領域（複数の場合もある）は中心が位置する領域を含むように調整されることができる。他の領域は、たとえばこれらの領域がもはや選択された物体のいずれの部分をも含まない場合、物体を含む領域（複数の場合もある）のセットから除去されることができる。

[0060]また選択された物体のサイズは物体を含むと決定された領域に影響を及ぼす可能性がある。例えば、選択された物体がカメラ１１０方向に移動する場合、それはカメラ１１０の視野内でより大きくなることができ視野１３０のより多くの領域（複数の場合もある）を包含することができる。この場合、物体を含む領域（複数の場合もある）は新しい領域を含むように調整されることができる。代替的に、選択された物体がカメラ１１０からさらに遠くに移動する場合、それは従前の画像フレームよりも少ない領域に含まれることができる。したがって、いくつかのインプリメンテーションでは、物体を含むと決定された領域（複数の場合もある）は、選択された物体のいずれの部分ももはや含まない領域を除去するために調整されることができる。他のインプリメンテーションにおいて、物体がさらに遠くへ移動するにつれ、物体の境界を示す領域のそのセントロイドおよび／または中心は領域を変化させることができる。

[0061]判断ブロック３６０は、モニタリングブロック３３０により生成された出力に基づいて、物体のロケーションが異なる領域に変化したかどうかを決定する。ブロック３３０により生成された現在の物体領域が変化を表す場合、モニタされている領域はブロック３７０においてアップデートされることができる。いくつかの態様において、ブロック３７０は、物体を含むと決定された領域ブロック３５０と一致するようにモニタされた領域のセットをアップデートする。したがって、ブロック３７０において、１つまたは複数の領域は、例えば、選択された物体のいずれの部分ももはや含まない場合、または物体のセントロイドが新しい領域に移動した場合、あるいは境界領域の中心が新しい領域に移動した場合、モニタされる領域（複数の場合もある）のセットから除去されることができる。上述したように、インプリメンテーションに基づいて、物体の少なくとも一部を含む領域に基づいて、または物体を実質的に包含する境界領域の中心に基づいて、または物体のセントロイドのロケーションに基づいて、ブロック３７０においてモニタされた領域のセットに領域を加えることができる。

[0062]物体が現在モニタされている領域内に存在し続けると決定すると判断ブロック３６０が決定する場合、方法３００はブロック３５０に戻り、さらなる連続した撮像された画像を介して物体のロケーションを追跡し続ける。

[0063]ブロック３８０において、方法３００は物体サイズを追跡する。物体のサイズはインプリメンテーションに応じて種々の方法を用いて決定されることができる。いくつかの実施形態において、方法３００は物体を取り囲む(enclose)最小境界ボックスのような、物体を取り囲む境界領域のエリアを追跡する。その結果、サイズは境界領域のエリアに基づく。
いくつかの態様において、サイズは物体自身の実際のサイズ、例えば、物体内に含まれるピクセルまたは画像素子の数に基づいて決定される。

[0064]判断ブロック３９０において、方法３００は従前のフォーカスイベントと現在の画像フレームとの間で物体サイズが変化したかどうかを決定する。いくつかの実施形態に関して、サイズ増加しきい値を超える値だけ従前にフォーカスされた画像フレーム内の従前のサイズ測定値に対して物体のサイズが増加した場合、方法３００はブロック３２０に移動することによりフォーカスイベントをトリガする。サイズ増加しきい値は1.01, 1.05, 1.1, 1.15, 1.2, 1.25, 1.3, 1.35, 1.4 またはそれらの間の任意のしきい値であり得る。たとえば、1.2のしきい値は従前のフォーカスイベントから２０％のサイズ増加に相当することができる。いくつかの実施形態に関して、物体のサイズがサイズ減少しきい値を超えて減少される場合、方法３００はブロック３２０に移動することによりフォーカスイベントをトリガする。例えば、いくつかのインプリメンテーションにおいて、サイズしきい値は０．８５であり得、最後のフォーカスイベントからサイズのエリアにおいて１５％の減少に対応する。他のインプリメンテーションは０．９９、０．９５、０．９、０．８、０．７５またはこれらの値の間の任意のサイズ減少しきい値を利用することができる。物体のサイズが実質的に（あるいは上述したサイズしきい値を超えて）変化しなかったと判断ブロック３９０が決定した場合、方法３００はブロック３８０に戻り、さらなる連続して撮像された画像における物体のサイズを従前のフォーカスイベントにおける物体のサイズと比較することにより物体のサイズを追跡し続ける。

[0065]図３はブロック３３０、３５０、および３８０の並列動作を例示する。他のインプリメンテーションにおいて、これらの動作は起こった順番に行われても良いし、あるいは異なる順序で行われてもよい。１つのフォーカストリガはフォーカス動作を開始するのに十分なので、フォーカス動作の期間に物体サイズを追跡し、物体ロケーションを追跡し、および領域（複数の場合もある）をモニタする必要はないかもしれない。

[0066]いくつかのインプリメンテーションにおいて、方法３００がもはや選択された物体を識別できない（例えば、物体が視野外に移動する、あるいは物体があまりにも小さくなりすぎて追跡できない）場合、プロセス３００はブロック３１０に戻り新しい物体が選択されることができる。

[0067]図４は３つの異なる時間：物体１５０をフォーカスした後、物体４５０ａが移動する前、および物体４５０ｂが移動した後にモニタ領域１４５内の物体１５０／４５０ａ／４５０ｂを含むシーンの表示である。物体１５０は物体をフォーカスした後位置１５１で開始する。物体４５０ａとして表される同じ物体は移動する前の位置１５１のままである。物体４５０ｂとして表される同じ物体は位置１５２に移動する。物体４５０ａが位置１５１に留まっている間領域１４５内の画像は変化しなかったので、物体はフォーカスに止まり、プロセッサ２５０はフォーカスイベントをトリガしなかった。しかしながら、物体が位置１５１から位置１５２に移動すると領域１４５内の画像は変化した。この変化は画像コンテンツの差分が画像差分しきい値を超えたのでフォーカスイベントをトリガした。

[0068]図５は、モニタ領域内の変換がモニタ領域内のスイッチ並びにフォーカスイベントをトリガする、第１の画像内の第１のモニタ領域内の第１の位置から第２の画像内の第２のモニタ領域内の第２の位置へ移動する物体の表示である。図５はシーン内の物体１５０の２つの画像を示す。フォーカス後、中心点１７０を有する境界ボックス１６０内の物体１５０はモニタ領域１４５内にある。次の画像において、物体１５０は矢印１８０に沿ってモニタ領域５４５に移動する。この第２の画像はシーン内の同じ人物に対応する物体１５４である。この第２の画像は中心点１７４を有する境界ボックス１６４内の物体１５４を示す。境界ボックス１７４の中心点は領域５４５内にあるので、連続オートフォーカスシステムは領域１４５から領域５４５へモニタ領域を切り替えフォーカスイベントをトリガする。

[0069]図６は選択された物体１５０のサイズの変化はフォーカスイベントをトリガすることができる。図６において、物体ａ−ｇは多種多様のサイズで描かれた同じ物体として示される。物体１５０ａ−ｇの各々は対応する境界ボックス６６０ａ−ｇにより囲まれている。物体１５０ｄは開始サイズ（または位置）を表す。この例において、カメラは最初に物体１５０ｄにフォーカスされることができる。物体１５０ｄ上のイニシャルフォーカスはハッシュマーク(hash mark)６２０により表される。物体１５０ｄの右にある物体、すなわち１５０ｅ−ｇは物体１５０よりも相対的に大きく、物体１５０ｄの左側にある物体、すなわち１５０ａ−ｃは物体１５０ｄよりも相対的に小さい。

[0070]いくつかのインプリメンテーションにおいて、物体１５０ｄのサイズはサイズが変化するので（例えば、右側の位置により表される、すなわち１５０ｅ−ｇ）、いくつかのインプリメンテーションは物体１５０ｄと、たとえば物体１５０ｅとの間のサイズ比を決定することができる。いくつかの態様において、サイズ比は被写体(subjects)１５０ｄおよび１５０ｅ自体のエリアに基づく。他の態様において、サイズ比は境界ボックス６６０ｄおよび６６０ｅのエリアの比に基づく。いくつかの態様において、サイズまたは比の変化がしきい値よりも大きいとき、図４およびブロック３８０および３９０に関して上述したように、フォーカスイベントがトリガされる。

[0071]図６において、物体１５０ｅは物体１５０ｄよりも大きいけれども、サイズは例示されたインプリメンテーションでは、サイズしきい値を超えるほど実質的に十分でない。したがって、物体１５０ｄと１５０ｅの間のサイズの変化がフォーカスイベントをトリガしない。しかしながら、物体が物体１５０ｆで表されるようにサイズにおいてさらに増加すると、物体１５０ｄと１５０ｆとの間のサイズの差分はサイズ増加しきい値を超え、フォーカスイベントがトリガされる。これはハッシュマーク６３０で表される。物体が１５０ｆから１５０ｇにサイズにおいてさらに増加すると、フォーカスイベントはトリガされない。これは、物体１５０ｆと１５０ｇとの間のサイズ比が例示されたインプリメンテ―ションで使用されたサイズ比未満であることによるかもしれない。サイズ比は最後のフォーカスイベントが実行されたときの物体のサイズに基づくことに留意する必要がある。したがって、ハッシュマーク６２０により表されるように物体１５０ｄはフォーカスイベントが適用された最後の物体であったので、物体１５０ｅのサイズおよび物体１５０ｆのサイズは両方とも物体１５０ｄのサイズと比較される。対称的に、ハッシュマーク６４０により表されるように、物体１５０ｆはフォーカスが適用された最期の物体であったので、物体１５０ｇのサイズは物体１５０ｆと比較される。

[0072]物体のサイズが減少すると類似のプロセスが使用される。たとえば、物体１５０ｃにより表されるサイズに対して物体１５０ｄのサイズが変化した場合、サイズ比は物体１５０ｄのサイズと物体１５０ｃのサイズとの間で決定されることができる。この差はサイズ減少しきい値に比較されることができ、差がしいきい値を超えた場合、フォーカスイベントはトリガされることができる。この例において、物体１５０ｄと１５０ｃとの間のハッシュマークの欠如に基づいて、１５０ｄから１５０ｃへの変化に基づくイベントはトリガされない。同様に、物体１５０ｄと１５０ｂとの間のサイズの差分は依然として例示実施例のサイズしきい値を超えないので、１５０ｃから１５０ｂへのさらなるサイズの減少は依然としてフォーカスイベントを生じない。しかしながら、物体１５０ａで表されるように物体のサイズがさらに減少されると、ハッシュマーク６１０により表されるように物体１５０ａと１５０ｄとの間の差分がサイズしきい値を超え、フォーカスイベントがトリガされる。サイズの増加とサイズの減少は共にサイズ差分としきい値との間の比較を生じるけれども、各ケースに関して異なるしきい値を用いてもよい。たとえば、いくつかのインプリメンテーションは、フォーカスイベントをトリガするために１０％のサイズ増加または１．１の比を用いてもよいし、フォーカスイベントをトリガするために８％のサイズ減少または０．９２の比を用いてもよい。他のインプリメンテーションはサイズの増加及び減少に関して類似のしきい値を使用することができる。たとえば、いくつかのインプリメンテーションはフォーカスイベントをトリガするために９％の増加または減少を使用することができる。

[0073]図７はここに記載された実施形態に従う連続オートフォーカスの方法７００を例示するフローチャートである。いくつかの態様において、図２のメモリ２６０に記憶された命令は方法７００の機能を実行するようにプロセッサ２５０を構成する。いくつかの態様において、方法７００と図３の方法３００は同じ方法の統合または一部である。例えば、方法３００の「物体サイズ追跡」ブロック３８０およびブロック３９０は以下に記載される方法７００の少なくともブロック７２０−７４０に対応することができる。

[0074]ブロック７１０において、方法７００はシーンの第１および第２の画像を連続的に撮像する。いくつかのインプリメンテーションにおいて、ブロック７１０の機能性の少なくともいくつかは図２に例示されるカメラ１１０により実行されることができる。例えば、幾つかの態様において、メモリ２６０に記憶されたプロセッサ命令は第１および第２の画像を撮像するようにカメラ１１０を制御するようにプロセッサ２５０を構成することができる。

[0075]ブロック７２０において、方法７００は第１の画像内の第１の物体の第１のサイズを決定する。いくつかの態様において、ブロック７２０の機能性は図２に例示されるプロセッサ２５０により実行されることができる。上述したように、いくつかの態様において、第１のサイズは、第１の画像内の第１の物体の境界を示す領域のエリアに基づくか、あるいは第１の画像内の第１の物体自身のエリアにもとづく。たとえば、エリアは第１の画像内の第１の物体を表すピクセルまたは画像素子の数に基づくことができる。

[0076]ブロック７３０において方法７００は第２の画像内の第１の物体の第２のサイズを決定する。いくつかの態様において、ブロック７３０の機能性は図２に例示されるプロセッサ２５０により実行されることができる。上述したように、いくつかの態様において、第２のサイズは、第２の画像内の第１の物体の境界を示す領域のエリアに基づくかまたは第２の画像内の第１の物体自身のエリアに基づく。

[0077]ブロック７４０において、方法７００は第１のサイズと第２のサイズとの間の差分に基づいてカメラをフォーカスする。例えば、ブロック７４０は図３および／または図６のブロック３８０および３９０に関して上述したようにカメラをフォーカスすることができる。

[0078]いくつかの態様において、第１の画像と第２の画像との間の比は１つまたは複数のしきい値と比較される。たとえば、いくつかのインプリメンテーションにおいて、第１のしきい値は１未満であり得、カメラをリフォーカスすべき程度まで第１の画像に比べて第２の画像内の物体のサイズが低減されたかどうかを制御することができる。このインプリメンテーションにおいて、比は、第１の画像内の物体のサイズに比較した第２の画像内の第１の物体のサイズを表すことができる。この比が第１のしきい値より小さければ、フォーカスイベントがトリガされることができる。同様に、この比は１より大きい第２のしきい値に比較されることができる。比が第２のしきい値を超える場合、いくつかのインプリメンテーションは、カメラがリフォーカスされるべき程度にまで第２の画像内の物体のサイズが第１の画像内の物体よりも大きいと決定することができる。いくつかのインプリメンテーションにおいて、１つのしきい値は２つの計算された比と比較されることができる。例えば、第１の比は第１のサイズ／第２のサイズを表すことができ、一方第２の比は第２のサイズ／第１のサイズを表すことができる。

[0079]当業者は、単一の計算された比により表される第１のサイズと第２のサイズとの間の関係を逆にすることができる、すなわち、他のインプリメンテーションの逆の比が第２画像内の物体のサイズに比較された第１画像内の第１の物体のサイズを表すことができることを理解するであろう。これらのインプリメンテーションにおいて、当業者は２つのしきい値は上述したフォーカスイベントを達成するために識別されることができることを理解するであろう。

[0080]いくつかのインプリメンテーションにおいて、ブロック７２０の機能性は図２に例示されるカメラコントローラ２２０により実行されることができる。いくつかのインプリメンテーションにおいて、ブロック７２０はカメラコントローラ２２０と組み合わされたプロセッサ２５０により実行されることができる。例えば、プロセッサ２５０は第１のサイズと第２のサイズとの間の差分を決定することができ、その差分が１つまたは複数のしきい値とどのように比較されるかに依存してカメラコントローラ１１０にカメラをフォーカスするように命令することができる。

[0081]方法７００のいくつかの態様はブロック３３０／３４０および／または３５０／３６０／３７０に関して上述した１つまたは複数の機能を含むことができる。

[0082] 本明細書において、例えば、「第１の」、「第２の」等のような指定を用いた、要素に対するいずれの参照も、一般に、これら要素の数も順序も限定しないことが理解されるべきである。むしろ、これらの指定は、２つ以上の要素または要素の事例の間で区別する便利な方法としてここで使用されうる。したがって、第１の要素および第２の要素への参照は、そこで２つの要素のみしか適用できないことも、何らかの方法で第１の要素が第２の要素に先行しなければならないことも、意味していない。また、特に明記されていない限り、要素のセットは、１つまたは複数の要素を備えうる。さらに、明細書または特許請求の範囲の中で使用される「Ａ、Ｂ、またはＣのうちの少なくとも１つ」という形態の用語は、「ＡまたはＢまたはＣ、あるいは、これら要素の任意の組み合わせ」を意味している。

[0083]本明細書で使用される場合、「決定すること」という用語は、多種多様なアクションを包含する。例えば、「決定すること」は、計算すること、コンピュータで計算すること、処理すること、抽出すること、調査すること、検索すること（例えば、テーブル、データベースまたは別のデータ構造で検索すること）、確認すること、などを含み得る。同様に、「決定すること」は、受信すること（例えば、情報を受信すること）アクセスすること（例えば、メモリ内のデータにアクセスすることを）を含み得る。また、「決定すること」は、解決すること、選択すること、選ぶこと、確立することなどを含みうる。
[0084]本明細書で使用される場合、項目のリスト「のうちの少なくとも１つ」を指すフレーズは、単一のメンバを含む、それらの項目の任意の組み合わせを指す。例として、「ａ、ｂ、またはｃのうちの少なくとも１つ」は、ａ、ｂ、ｃ、ａ−ｂ、ａ−ｃ、ｂ−ｃ、およびａ−ｂ−ｃをカバーするように意図される。

[0085]上記で説明された方法の様々な動作は、様々なハードウェアおよび／またはソフトウェアの（１つ以上の）コンポーネント、回路、および／または（１つ以上の）モジュール等の、それらの動作を行うことができるあらゆる適した手段によって行われうる。概して、図面中に例示された任意の動作は、動作を遂行することが可能である対応する機能的な手段によって遂行されうる。

[0086]本開示に関連して説明された、さまざまな例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または他のプログラマブル論理デバイス（ＰＬＤ）、ディスクリートゲートまたはトランジスタロジック、ディスクリートハードウェアコンポーネント、あるいはここで説明された機能を実行するように設計されたこれらの任意の組み合わせを用いてインプリメントまたは実行され得る。汎用プロセッサは、マイクロプロセッサでありうるが、代替では、プロセッサは、任意の市販のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシンでありうる。プロセッサはまた、コンピューティングデバイスの組み合わせ、例えば、ＤＳＰとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと連携した１つまたは複数のマイクロプロセッサ、あるいはその他任意のこのような構成としてインプリメントされ得る。

[0087]１つ以上の態様では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらのあらゆる組み合わせで実行されうる。ソフトウェア内においてインプリメントされる場合、機能は、コンピュータ可読媒体上における１つまたは複数の命令またはコードとして記憶または送信されうる。コンピュータ可読媒体は、１つの場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体とコンピュータ記憶媒体の両方を含む。記憶媒体は、コンピュータによってアクセスされることができる任意の利用可能な媒体であり得る。限定ではなく例として、そのようなコンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ(登録商標)、ＣＤ−ＲＯＭまたは他の光ディスク記憶装置、磁気ディスク記憶装置または他の磁気記憶デバイス、あるいは命令もしくはデータ構造の形で所望のプログラムコードを搬送または記憶するために使用されることができ、コンピュータによってアクセスされることができる任意の他の媒体を備えることができる。また、任意の接続は、厳密にはコンピュータ可読媒体と称される。例えば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波のようなワイヤレス技術を使用して、ウェブサイト、サーバ、またはその他の遠隔ソースから送信される場合には、この同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波のようなワイヤレス技術は、送信媒体の定義に含まれる。ディスク（disk）およびディスク（disc）は、本明細書で使用される場合、コンパクトディスク（ＣＤ）（disc）、レーザーディスク(登録商標)（disc）、光ディスク（disc）、デジタル多用途ディスク（ＤＶＤ）（disc）、フロッピー(登録商標)ディスク（disk）、およびＢｌｕ−ｒａｙ(登録商標)（ディスク（disc）を含み、ここで、ディスク（disk）は通常、磁気的にデータを再生するが、その一方でディスク（disc）は、レーザーを用いて光学的にデータを再生する。このことから、いくつかの態様では、コンピュータ可読媒体は、非一時的なコンピュータ可読媒体（例えば、有形媒体）を備えうる。加えて、いくつかの態様では、コンピュータ可読媒体は、一時的コンピュータ可読媒体（例えば、信号）を備えうる。上記の組み合わせはまた、コンピュータ可読媒体の範囲内に含まれるべきである。

[0088]ここに開示された方法は、説明された方法を達成するための１つまたは複数のステップまたは動作（action）を備える。方法のステップおよび／またはアクションは、特許請求の範囲から逸脱することなしに互いに置き換えられうる。言い換えると、ステップまたはアクションの特定の順序が指定されない限り、特定のステップおよび／またはアクションの順序および／または使用は、請求項の範囲から逸脱することなく変更され得る。

[0089]さらに、ここで説明された方法および技法を実行するためのモジュールおよび／または他の適切な手段は、適宜、ユーザ端末および／または基地局によって、ダウンロードされ得ること、および／または、別の方法で取得され得ることが理解されるべきである。例えば、そのようなデバイスは、本明細書に説明された方法を遂行するための手段の転送を容易にするために、サーバに結合されることができる。代替として、本明細書に説明された様々な方法は、記憶手段をデバイスに結合または提供する際にユーザ端末および／または基地局が様々な方法を取得することができるように、記憶手段（例えば、ＲＡＭ、ＲＯＭ、コンパクトディスク（ＣＤ）またはフロッピーディスクのような物理的記憶媒体、等）を介して提供されることができる。その上、本明細書に説明された方法および技法をデバイスに提供するための任意の他の適した技法が利用されることができる。

[0090]特許請求の範囲は、上記に例示されたとおりの構成およびコンポーネントに限定されないことが理解されるべきである。様々な修正、変更、および変形が、上記に説明された方法および装置の配置、動作および詳細において、特許請求の範囲から逸脱することなく行われうる。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］カメラをフォーカスする方法において、
シーンの第１および第２の画像を連続的に撮像することと、
前記第１の画像内の第１の物体の第１のサイズを決定することと、
前記第２の画像内の前記第１の物体の第２のサイズを決定することと、
前記第１のサイズと前記第２のサイズとの間の差分に基づいてカメラをフォーカスすることと、
を備えた方法。
［Ｃ２］
第１の境界領域が前記第１の画像内に前記第１の物体を含むことを決定することと、
第２の境界領域が前記第２の画像内に前記第１の物体を含むことを決定することと、
前記第１の境界領域と前記第２の境界領域との間の差分に基づいて前記カメラをフォーカスすることと、
をさらに備えたＣ１の方法。
［Ｃ３］
前記第１の境界領域のエリアと前記第２の境界領域のエリアとの間の差分に基づいて前記カメラをフォーカスすることをさらに備えたＣ２の方法。
［Ｃ４］
前記第２の境界領域のエリアと前記第１の境界領域のエリアとの間の比を決定することと、
前記比がサイズ減少しきい値未満またはサイズ増加しきい値を超えることに応答して前記カメラをフォーカスすることと、
をさらに備えた、Ｃ２の方法。
［Ｃ５］
前記差分が領域差分しきい値を超える場合前記カメラをフォーカスすることと、
前記差分が前記領域差分しきい値を超えない場合前記カメラの前記フォーカスを維持することと、
をさらに備えたＣ２の方法。
［Ｃ６］
前記第１および第２の画像を複数の対応する領域に分割することと、
前記第１の画像内の第１の領域が前記第１の物体を含み、前記第２の画像内の対応する第２の領域を決定することと、
前記第１の領域および前記第２の領域内の画像コンテンツ間の第１の差分を決定することと、および
画像コンテンツ内の前記第１の画像に基づいて前記カメラをフォーカスすることと、
をさらに備えたＣ１の方法。
［Ｃ７］
前記カメラをフォーカスするとき、前記複数の領域のうち前記第１の物体を含まないと決定された領域を考慮から排除することをさらに備えた、Ｃ６の方法。
［Ｃ８］
前記第２の画像内の第３の領域が前記第１の物体を含むと決定することと、
第３の時間に前記物体の第３の画像を撮像することと、ここにおいて前記第３の時間は前記第２の時間の後である、
前記第３の領域に対応する、前記第３の画像内の第４の領域を決定することと、
前記第３の領域および前記第４の領域内の画像コンテンツ間の第２の差分を決定することと、および
画像コンテンツ内の前記第２の差分に応答して前記カメラをフォーカスすることと、
をさらに備えた、Ｃ６の方法。
［Ｃ９］
シーンの第１および第２の画像を連続的に撮像するように構成されたカメラと、
前記第１の画像内の第１の物体の第１のサイズを決定するように構成された、カメラと通信しているプロセッサと、ここにおいて前記プロセッサは前記第２の画像内の前記第１の物体の第２のサイズを決定するようにさらに構成される、および
前記第１のサイズと前記第２のサイズとの間の差分に基づいて関カメラをフォーカスするように構成されたカメラコントローラと、
を備えたイメージング装置。
［Ｃ１０］
前記プロセッサは前記画像内の前記第１の物体を含む第１の境界領域を決定し、および前記第２の画像内の前記第１の物体を含む第２の境界領域を決定するようにさらに構成され、
前記カメラコントローラは前記第１の境界領域と前記第２の境界領域との間の差分に基づいて前記カメラをフォーカスするようにさらに構成される、Ｃ９のイメージング装置。
［Ｃ１１］
前記カメラコントローラは、前記第１の境界領域のエリアと前記第２の境界領域のエリアとの間の差分に基づいて前記カメラをフォーカスするようにさらに構成される、Ｃ１０のイメージング装置。
［Ｃ１２］
前記プロセッサは、前記第２の境界領域のエリアと前記第１の境界領域のエリアとの間の比を決定するようにさらに構成され、前記カメラコントローラは前記比がサイズ減少しきい値未満であるかまたはサイズ増加しきい値を超えることに基づいて前記カメラをフォーカスするようにさらに構成される、Ｃ１１のイメージング装置。
［Ｃ１３］
前記カメラコントローラは、前記差分が領域差分しきい値を超える場合に前記カメラをフォーカスするように、および前記差分が前記領域しきい値を超えない場合に前記カメラの前記フォーカスを維持するようにさらに構成されるＣ１２のイメージング装置。
［Ｃ１４］
前記プロセッサは、
前記第１および第２の画像を複数の対応する領域に分割し、
前記第１の物体を含む前記第１の画像内の第１の領域と、前記第２の画像内の対応する第２の領域を決定し、
前記第１の領域と前記第２の領域における画像コンテンツの間の第１の差分を決定するようにさらに構成され、
前記カメラコントローラは画像コンテンツ内の前記第１の差分に基づいて前記カメラをフォーカスするようにさらに構成される、Ｃ９のイメージング装置。
［Ｃ１５］
前記プロセッサは前記カメラをフォーカスするとき複数の領域のうち前記第１の物体を含まないと決定された領域を考慮から排除するようにさらに構成されるＣ１４の装置。
［Ｃ１６］
前記第２の画像内の第３の領域が前記第１の物体を含むと決定し、
第３の時間に前記物体の第３の画像を撮像し、ここにおいて前記第３の時間は前記第２の時間の後である、
前記第３の領域に対応する前記第３の画像内の第４の領域を決定し、および
前記第３の領域および前記第４の領域内の画像コンテンツ間の第２の差分を決定するようにさらに構成され、
前記カメラコントローラは画像コンテンツ内の前記第２の差分に応答して前記カメラをフォーカスするようにさらに構成される、Ｃ１４の装置。
［Ｃ１７］
シーンの第１および第２の画像を連続的に撮像する手段と、
前記第１の画像内の第１の物体の第１のサイズを決定する手段と、
前記第２の画像内の前記第１の物体の第２のサイズを決定する手段と、
前記第１のサイズと前記第２のサイズとの間の差分に基づいて前記撮像手段をフォーカスする手段と、
を備えたイメージング装置。
［Ｃ１８］
前記撮像手段はカメラを備え、前記第１のサイズ決定手段はプロセッサを備え、前記第２のサイズ決定手段は前記プロセッサを備え、前記フォーカス手段はカメラコントローラを備える、Ｃ１７の装置。
［Ｃ１９］
実行されるとプロセッサにカメラをフォーカスする方法を実行させる命令を記憶する非一時的コンピュータ可読媒体において、前記方法は、
シーンの第１および第２の画像を連続的に撮像することと、
前記第１の画像内の第１の物体の第１のサイズを決定することと、
前記第２の画像内の前記第１の物体の第２のサイズを決定することと、
前記第１のサイズと前記第２のサイズとの間の差分に基づいて前記カメラをフォーカスすること、
を備える非一時的コンピュータ可読媒体。

Claims (9)

1. カメラをフォーカスする方法において、
   シーンの画像を撮像することと、
   画像内の物体を選択することと、
   前記撮像された画像を複数の非オーバラップ領域に分割することと、
   前記選択された物体の一部を含む全ての前記非オーバラップ領域のサブセットによって構成される、前記物体をモニタするための前記撮像された画像内のモニタ領域を決定することと、
   前記選択された物体を含むシーンの第１の画像および第２の画像を、前記領域にフォーカスされた前記カメラで連続的に撮像することと、
   前記第１および第２の画像を複数の対応する非オーバラップ領域に分割することと、
   前記選択された物体の一部を含む全ての前記非オーバラップ領域のサブセットによって構成される、前記第１の画像内の第１の領域を決定することと、
   前記第１の領域に対応する、前記第２の画像内の第２の領域を決定することと、
   前記第１の画像および前記第２の画像において、前記物体のロケーションおよび前記物体のサイズを決定することと、ここにおいて、前記物体の前記サイズを決定することは、
   前記第１の画像内の前記物体を取り囲む第１の最小境界領域のエリアを決定することと、
   前記第２の画像内の前記物体を取り囲む第２の最小境界領域のエリアを決定することと
   を備え、
   以下の条件の各々に関して前記第１および第２の画像をモニタすることと、
   しきい値を超える、前記第１および前記第２の領域間の画像コンテンツの変化、
   前記物体の前記ロケーションが、前記１つまたは複数の非オーバラップ領域から別の非オーバラップ領域へ移動する、ここにおいて、前記物体の前記ロケーションは、前記物体のセントロイドまたは前記物体を取り囲む前記境界領域の中心によって決定される、
   前記第１の画像内の前記物体の前記サイズと前記第２の画像内の前記物体の前記サイズとの間の差分が、サイズ増加しきい値を超えるまたはサイズ減少しきい値未満である、ここにおいて、前記差分が、前記サイズ増加しきい値を超えるか、または前記サイズ減少しきい値未満であるかを決定することは、
   前記第２の境界領域の前記エリアと前記第１の境界領域の前記エリアとの比を決定することと、
   前記第２の画像内の前記物体の前記サイズに比較した前記第１の画像内の前記物体の前記サイズにおける前記差分が、サイズ増加しきい値差分を超えるか、またはサイズ減少しきい値差分未満であるかを決定するために、前記比を用いることと
   を備え、
   ここにおいて、前記選択された物体の前記ロケーションが移動したとき、前記選択された物体の一部を含む全ての前記非オーバラップ領域を含むように前記第２の領域を調整し、
   前記条件の１つまたは複数が生じると、前記第２の領域に前記カメラをフォーカスすることと、
   前記選択された物体を含まないと決定された、前記複数の非オーバラップ領域のうちの領域を、前記カメラをフォーカスするとき考慮から排除することと
   を備えた、方法。
2. 前記第１の境界領域のエリアのサイズと前記第２の境界領域のエリアのサイズとの間の差分に基づいて前記カメラをフォーカスすることと、
   前記第１の境界領域および前記第２の境界領域の前記エリアを決定することと、
   前記第１の境界領域の前記エリアの前記サイズと前記第２の境界領域の前記エリアの前記サイズとの間の前記差分に基づいて、前記第１の画像内の前記物体の前記サイズが前記第２の画像内の前記物体の前記サイズと異なるかどうかを決定することと、
   をさらに備えた請求項１の方法。
3. 前記第２の画像内の第３の領域が前記第１の物体を含むと決定することと、
   第３の時刻に前記物体の第３の画像を撮像することと、前記第３の時刻は前記第２の時刻の後である、
   前記第３の領域に対応する前記第３の画像内の第４の領域を決定することと、
   前記第３の領域および前記第４の領域において画像コンテンツ間の第２の差分を決定することと、
   前記第２の差分を用いて、前記物体を描画する領域の前記第１および第２の画像内の画像コンテンツの変化がしきい値を超えるかどうかを決定することと
   をさらに備えた、請求項１の方法。
4. シーンの複数の画像を撮像するように構成されたカメラと、
   前記カメラをフォーカスするように構成されたカメラコントローラと、
   シーンの画像を撮像することと、
   画像内の物体を選択することと、
   前記撮像された画像を複数の非オーバラップ領域に分割することと、
   前記選択された物体の一部を含む全ての前記非オーバラップ領域のサブセットによって構成される、前記撮像された画像内のモニタ領域を決定することと、
   前記選択された物体を含むシーンの第１の画像および第２の画像を、前記領域にフォーカスされた前記カメラで連続的に撮像することと、
   前記第１および第２の画像を複数の対応する非オーバラップ領域に分割することと、
   前記選択された物体の一部を含む全ての前記非オーバラップ領域のサブセットによって構成される、前記第１の画像内の第１の領域を決定することと、
   前記第１の領域に対応する、前記第２の画像内の第２の領域を決定することと、
   前記第１の画像および前記第２の画像において、前記物体のロケーションおよび前記物体のサイズを決定することと、ここにおいて、前記物体の前記サイズを決定することは、
   前記第１の画像内の前記物体を取り囲む第１の最小境界領域のエリアを決定することと、
   前記第２の画像内の前記物体を取り囲む第２の最小境界領域のエリアを決定することと
   を備え、
   以下の条件の各々に関して前記第１および第２の画像をモニタすることと、
   しきい値を超える、前記第１および前記第２の領域間の画像コンテンツの変化、
   前記物体の前記ロケーションが、前記１つまたは複数の非オーバラップ領域から別の非オーバラップ領域へ移動する、ここにおいて、前記物体の前記ロケーションは、前記物体のセントロイドまたは前記物体を取り囲む前記境界領域の中心によって決定される、
   前記第１の画像内の前記物体の前記サイズと前記第２の画像内の前記物体の前記サイズとの間の前記差分が、サイズ増加しきい値を超えるまたはサイズ減少しきい値未満である、ここにおいて、前記差分が、前記サイズ増加しきい値または前記サイズ減少しきい値を超えるかどうかを決定することは、
   前記第２の境界領域の前記エリアと前記第１の境界領域の前記エリアとの比を決定することと、
   前記第２の画像内の前記物体の前記サイズに比較した前記第１の画像内の前記物体の前記サイズにおける前記差分が、サイズ増加しきい値差分を超えるか、またはサイズ減少しきい値差分未満であるかを決定するために、前記比を用いることと
   を備え、
   ここにおいて、前記物体の前記ロケーションが移動したとき、前記第２の領域は、前記選択された物体の一部を含む全ての前記非オーバラップ領域を含むように調整され、
   前記条件の１つまたは複数が生じると、前記第２の領域に前記カメラをフォーカスすることと、
   前記選択された物体を含まないと決定された、前記複数の非オーバラップ領域のうちの領域を、前記カメラをフォーカスするとき考慮から排除することと
   を行うように構成された、前記カメラと通信しているプロセッサと
   を備える、撮像装置。
5. 前記カメラコントローラは、前記第１の境界領域の前記エリアと前記第２の境界領域の前記エリアを決定し、前記第１の境界領域の前記エリアのサイズと前記第２の境界領域の前記エリアのサイズと間の差分に基づいて、前記第２の画像内の前記物体の前記サイズに比較した前記第１の画像内の前記物体の前記サイズにおける差分が、サイズ増加しきい値またはサイズ減少しきい値を超えることを決定するようにさらに構成される、請求項４の撮像装置。
6. 前記プロセッサはさらに、
   前記第２の画像内の第３の領域が前記第１の物体を含むと決定し、
   第３の時刻に前記物体の第３の画像を撮像し、前記第３の時刻は前記第２の時刻の後である、
   前記第３の領域に対応する前記第３の画像内の第４の領域を決定し、
   前記第３の領域と前記第４の領域内の画像コンテンツ間の第２の差分を決定し、
   前記物体を描画する領域の前記第１および第２の画像内の画像コンテンツの変化が前記しきい値を超えるかどうか決定するために前記第２の差分を用いる、
   ようにさらに構成される、請求項４の装置。
7. シーンの画像を撮像する手段と、
   前記撮像された画像を複数の非オーバラップ領域に分割する手段と、
   画像内の物体を選択する手段と、
   前記選択された物体の一部を含む全ての前記非オーバラップ領域のサブセットによって構成される、前記撮像された画像内のモニタ領域を決定する手段と、
   前記選択された物体を含むシーンの前記領域にフォーカスされた、第１の画像および第２の画像を連続的に撮像する手段と、
   前記第１および第２の画像を複数の対応する非オーバラップ領域に分割する手段と、
   前記選択された物体の一部を含む全ての前記非オーバラップ領域のサブセットによって構成される、前記第１の画像内の第１の領域を決定する手段と、
   前記第１の領域に対応する、前記第２の画像内の第２の領域を決定する手段と、
   前記第１の画像および前記第２の画像において、前記物体のロケーションおよび前記物体のサイズを決定する手段と、ここにおいて、前記物体の前記サイズを決定することは、
   前記第１の画像内の前記物体を取り囲む第１の最小境界領域のエリアを決定することと、
   前記第２の画像内の前記物体を取り囲む第２の最小境界領域のエリアを決定することと
   を備え、
   以下の条件の各々に関して前記第１および第２の画像をモニタする手段と、
   しきい値を超える、前記第１および前記第２の非オーバラップ領域間の画像コンテンツの変化、
   前記物体の前記ロケーションが、前記１つまたは複数の非オーバラップ領域の１つから別の非オーバラップ領域へ移動する、ここにおいて、前記物体の前記ロケーションは、前記物体のセントロイドまたは前記物体を取り囲む前記境界領域の中心によって決定される、
   前記第１の画像内の前記物体の前記サイズと前記第２の画像内の前記物体の前記サイズとの間の差分が、サイズ増加しきい値を超えるまたはサイズ減少しきい値未満である、ここにおいて、前記差分が、前記サイズ増加しきい値または前記サイズ減少しきい値を超えるかどうかを決定することは、
   前記第２の境界領域の前記エリアと前記第１の境界領域の前記エリアとの比を決定することと、
   前記第２の画像内の前記物体の前記サイズに比較した前記第１の画像内の前記物体の前記サイズにおける前記差分が、サイズ増加しきい値差分を超えるか、またはサイズ減少しきい値差分未満であるかを決定するために、前記比を用いることと
   を備え、
   ここにおいて、前記物体の前記ロケーションが移動したとき、前記第２の領域は、前記選択された物体の一部を含む全ての前記非オーバラップ領域を含むように調整され、
   前記条件の１つまたは複数が生じると、前記第２の領域に前記撮像する手段をフォーカスする手段と、
   前記選択された物体を含まないと決定された、前記複数の非オーバラップ領域のうちの領域を、前記カメラをフォーカスするとき考慮から排除する手段と
   を備える撮像装置。
8. 前記撮像する手段はカメラを備え、前記サイズを決定する手段はプロセッサを備え、前記フォーカスする手段はカメラコントローラを備える、請求項７の装置。
9. 実行されるとプロセッサに請求項１ないし３のいずれか一項に記載の方法を実行させる命令を記憶する非一時的なコンピュータ可読媒体。