JP6469932B2 - 自動ズームを実施するためのシステムおよび方法 - Google Patents

Description

関連出願
[0001]本出願は、「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＰＥＲＦＯＲＭＩＮＧ ＡＵＴＯＭＡＴＩＣ ＺＯＯＭ」と題する、２０１５年９月２８日に出願された米国仮特許出願第６２／２３３，５９４号に関連し、その優先権を主張する。

[0002]本開示は一般に、電子デバイスに関する。より詳細には、本開示は、自動ズームを実施するためのシステムおよび方法に関する。

[0003]いくつかの電子デバイス（たとえば、カメラ、ビデオカムコーダ、デジタルカメラ、セルラーフォン、スマートフォン、コンピュータ、テレビジョン、自動車、パーソナルカメラ、ウェアラブルカメラ、仮想現実デバイス（たとえば、ヘッドセット）、拡張現実デバイス（たとえば、ヘッドセット）、複合現実デバイス（たとえば、ヘッドセット）、アクションカメラ、監視カメラ、搭載カメラ、接続カメラ、ロボット、ドローン、スマートアプリケーション、ヘルスケア機器、セットトップボックスなど）は、画像をキャプチャし、および／または利用する。たとえば、スマートフォンは、静止画像および／またはビデオ画像をキャプチャし、および／または処理することができる。画像は、処理され、表示され、記憶され、および／または送信され得る。画像は、たとえば、風景および／またはオブジェクトを含むシーンを描写し得る。

[0004]いくつかの場合には、自動機能性を提供することが困難な場合がある。たとえば、自動画像キャプチャおよび／または調節を提供することが困難な場合がある。この議論から分かるように、画像キャプチャを向上するシステムおよび方法が有益であり得る。

[0005]電子デバイスが記載される。電子デバイスはプロセッサを含む。プロセッサは、複数の画像を取得するように構成される。プロセッサは、複数の画像のうちの少なくとも２つの間のグローバル動きを示すグローバル動き情報を取得するようにも構成される。プロセッサは、複数の画像のうちの少なくとも２つの間の、追跡されるオブジェクトの動きを示すオブジェクト追跡情報を取得するようにさらに構成される。プロセッサは、グローバル動き情報およびオブジェクト追跡情報に基づいて自動ズームを実施するようにさらに構成される。自動ズームを実施することは、追跡されるオブジェクトを含むズーム領域を生じさせる。プロセッサは、ズーム領域内の追跡されるオブジェクトのロケーションに基づいて、ズーム領域向けの動き応答速度を決定するように構成される。プロセッサは、ズーム領域中の少なくとも２つのゾーンに基づいて、ズーム領域向けの動き応答速度を決定するように構成され得る。

[0006]プロセッサは、カメラ入力の全視野に基づいてオブジェクト追跡を実施するように構成され得る。プロセッサは、グローバル動き情報および追跡されるオブジェクトとズーム領域のアンカーポイントとの間の距離に基づいてズーム領域動きを決定するように構成され得る。プロセッサは、ズーム領域が境界線バッファゾーンに入り、追跡されるオブジェクトが画像境界に向かって移動している場合には、グローバル動きを補償するように構成され得る。

[0007]プロセッサは、追跡領域とズーム領域とのサイズ比が最小ズーム閾未満である場合にはズームを増大するように構成され得る。プロセッサは、サイズ比が最大ズーム閾よりも大きい場合にはズームを低下するように構成され得る。最小ズーム閾と最大ズーム閾との間には、一定の範囲があってよい。

[0008]プロセッサは、履歴テーブルに基づいて自動ズームを実施するように構成され得る。プロセッサは、オブジェクトの動きに基づいて、ズームレベルをフレームごとに調節するように構成され得る。

[0009]方法についても記載される。方法は、複数の画像を取得することを含む。方法は、複数の画像のうちの少なくとも２つの間のグローバル動きを示すグローバル動き情報を取得することも含む。方法は、複数の画像のうちの少なくとも２つの間の、追跡されるオブジェクトの動きを示すオブジェクト追跡情報を取得することをさらに含む。方法は、グローバル動き情報およびオブジェクト追跡情報に基づいて自動ズームを実施することをさらに含む。自動ズームを実施することは、追跡されるオブジェクトを含むズーム領域を生じさせる。自動ズームを実施することは、ズーム領域内の追跡されるオブジェクトのロケーションに基づいて、ズーム領域向けの動き応答速度を決定することを含む。

[0010]コンピュータプログラム製品についても記載される。コンピュータプログラム製品は、命令をもつ非一時的有形コンピュータ可読媒体を含む。命令は、電子デバイスに、複数の画像を取得させるためのコードを含む。命令は、電子デバイスに、複数の画像のうちの少なくとも２つの間のグローバル動きを示すグローバル動き情報を取得させるためのコードも含む。命令は、電子デバイスに、複数の画像のうちの少なくとも２つの間の、追跡されるオブジェクトの動きを示すオブジェクト追跡情報を取得させるためのコードをさらに含む。命令は、電子デバイスに、グローバル動き情報およびオブジェクト追跡情報に基づいて自動ズームを実施させるためのコードをさらに含む。自動ズームを実施することは、追跡されるオブジェクトを含むズーム領域を生じさせる。電子デバイスに、自動ズームを実施させるためのコードは、電子デバイスに、ズーム領域内の追跡されるオブジェクトのロケーションに基づいて、ズーム領域向けの動き応答速度を決定させるためのコードを備える。

[0011]装置についても記載される。装置は、複数の画像を取得するための手段を含む。装置は、複数の画像のうちの少なくとも２つの間のグローバル動きを示すグローバル動き情報を取得するための手段も含む。装置は、複数の画像のうちの少なくとも２つの間の、追跡されるオブジェクトの動きを示すオブジェクト追跡情報を取得するための手段をさらに含む。装置は、グローバル動き情報およびオブジェクト追跡情報に基づいて自動ズームを実施するための手段をさらに含む。自動ズームを実施することは、追跡されるオブジェクトを含むズーム領域を生じさせる。自動ズームを実施するための手段は、ズーム領域内の追跡されるオブジェクトのロケーションに基づいて、ズーム領域向けの動き応答速度を決定するための手段を含む。

[0012]自動ズームを実施ためのシステムおよび方法が実装され得る電子デバイスの一例を示すブロック図。 [0013]自動ズームを実施するための方法の一構成を示す流れ図。 [0014]自動ズームパイプラインの一例を示すブロック図。 [0015]ズーム領域を決定する例を示す図。 [0016]２つのゾーンを用いる２状態手法の例を示す図。 [0017]遷移ゾーンの例を示す図。 [0018]フレーム境界線バッファリングゾーンの例を示す図。 [0019]ズームレベルを制御するための手法の例を示す図。 [0020]自動ズームを実施するための方法の一構成を示す流れ図。 [0021]本明細書に開示されるシステムおよび方法の様々な構成を実装するように構成された電子デバイス内に含まれ得るいくつかの構成要素を示す図。

[0022]本明細書で開示するシステムおよび方法は、自動ズームを実施することに関する。ズーミング効果は、様々なアプリケーションにおける特徴である。たとえば、ズーミングは、ユーザが、拡張されたシーンをディスプレイ上で閲覧すること、および／または拡張されたシーンをビデオクリップに記録することのいずれかができるように、画像中の関心領域を拡張し得る。ズーミングのためのいくつかの手法は「ピンチおよびズーム」手法を含むが、これは、ユーザに、視野の中心に位置する拡張された領域が見えるようにすることができるだけである。関心領域が中心に位置しない場合、ズーミングレベルは影響され（たとえば、制限され）得る。その上、「ピンチおよびズーム」手法は、かなりのユーザ入力を求める場合があり、ならびに／または関心オブジェクトが動いている、および／もしくは視野の中心に位置しないとき、良好な性能をもたらさない場合がある。

[0023]ズームするためのいくつかの手法は、次のように与えられる。ピンチおよびズームは、スマートフォンカメラアプリケーションにおいて実装され得る、ズームするための手法であり得る。この手法では、ズーミング効果は、フレームの中心エリアを拡張することができる。したがって、関心オブジェクトが中心に位置しないとき、ズーミング効果は、最良ズーミングレベルに達することができず、および／またはシーン中の関心オブジェクトを排除する場合がある。その上、写真および／またはビデオキャプチャに対してズームインおよびアウトするために、かなりのユーザ入力が求められ得る。カメラビューの視野は、ズーミング領域と同じであり得る。したがって、ユーザが、関心オブジェクトを見つけるためにズームインおよびアウトすることによって、移動する関心オブジェクトをキャプチャするのは困難な場合がある。

[0024]ピクチャインピクチャ（ＰｉＰ）は、ズームするための別の手法である。いくつかのデバイスはＰｉＰカメラ特徴を含むことができ、ここで、サブピクチャ（たとえば、より大きいピクチャ中の小さい矩形またはウィンドウ）は、選択されたエリアのズームイン効果を示す。この手法では、ズームされるエリアは、フレームの中心に限定されなくてよく、ほぼ全体の視野を含み得るエリアにズームインすることができる。ＰｉＰ手法では、ズームされたオブジェクトは通常、ＰｉＰの中心に現れ得る。カメラ移動および／または追跡によるシェイクおよびジッタは、拡張される場合があり、劣化した視覚効果を引き起こす場合がある。

[0025]スマートフォン上でチームスポーツビデオ（たとえば、サッカーゲーム）をブロードキャストするための自動ビデオズーミングは、別の手法である。この手法では、ズーミングは、検出されたオブジェクト（たとえば、追跡されるサッカーボール）に基づき得る。ズーミング比は、オブジェクト移動に基づき得る。ただし、この手法では、オブジェクトは、ズームされたビューから容易に漏れ得る。

[0026]別の手法は、ワイヤレスセンサーを使って追跡し、ズームすることを伴う。この手法では、サイズ情報ではなくロケーションのみが獲得され得る。その上、ズームは、（カメラ制限により）中心に基づくだけであり得る。この手法は、電動のプロ用カメラを、ワイヤレスセンサーに基づいてパンおよびズームするように制御することができる。

[0027]上述の説明から分かるように、関心オブジェクトのサイズに従って適切なズーミングレベルを提供する、ならびに／またはオブジェクトが動いている、および／もしくは視野の中心に位置しないときでも、より少ない（たとえば、最小限の）ユーザ入力を使用する、ズーミングのための手法を提供することが有益であり得る。これらの利益をもたらす手法は、向上したユーザエクスペリエンスを提供することができる。

[0028]本明細書で開示するシステムおよび方法は、追跡に基づく自動ズームに関し得る。たとえば、追跡に基づく自動ズームは、低減されたユーザ入力（たとえば、ワンタッチ）で、追跡されるオブジェクトのロケーションおよび／またはサイズに従って、安定したズームされたビューを提供する自動機構を提供し得る。本明細書で開示するシステムおよび方法は、良好なユーザエクスペリエンスを達成することができ、高品質画像および／またはビデオクリップをとることが可能であり得る。さらに、本明細書で開示するシステムおよび方法に従って提供され得る、安定したズームされたビューは、シェイクとジッタとを削減することによって有益になり得る。これは、人間の眼がシェイクおよびジッタに敏感であり得るので、有利であり得る。

[0029]いくつかの構成では、ズーミング効果は、追跡されるオブジェクトの移動、ロケーション、および／またはサイズに基づいて自動的に変えられ得る。ズーム領域を決定する際に、全体の視野が考慮され得る。たとえば、本明細書で開示するシステムおよび方法は、ズーム領域を決定する際に、画像センサーの全体の視野を使用し得る。言い換えると、ズーム領域制御は、画像センサー視野全体に基づいてよく、ズーム領域自体におけるビューに制限されなくてよい。いくつかの構成では、追跡器は、関心オブジェクトを選択するためのワンタッチ入力を取得することができ、次いで、プレビューおよび／またはビデオキャプチャ中に関心オブジェクトを自動的に追うことができる。追跡器は、依然として元のカメラ視野において稼働することができる。たとえば、追跡器は、クロップされたズーム領域だけでなく、元の視野において稼働し続けることができる。したがって、ズーム領域がデバイス上で閲覧および／またはキャプチャされ得る間、関心オブジェクトは、広角視野（たとえば、カメラセンサーの視野と同じである）内で移動することができ、これにより、拡張され、より焦点の合った視野を提供することができる。

[0030]次に、図を参照しながら様々な構成について説明し、ここで、同様の参照番号は機能的に同様の要素を示し得る。本明細書で概して説明し、図に示すシステムおよび方法は、多種多様な異なる構成で構成および設計され得る。したがって、図に表されるいくつかの構成についての以下のより詳細な説明は、請求される範囲を限定するものではなく、システムおよび方法を代表するものにすぎない。

[0031]図１は、自動ズームを実施ためのシステムおよび方法が実装され得る電子デバイス１０２の一例を示すブロック図である。たとえば、電子デバイス１０２は、１つまたは複数の画像および／またはビデオ中で自動的にズームインおよび／またはズームアウトするように構成され得る。電子デバイス１０２の例は、カメラ、ビデオカムコーダ、デジタルカメラ、セルラー電話、スマートフォン、コンピュータ（たとえば、デスクトップコンピュータ、ラップトップコンピュータなど）、タブレットデバイス、メディアプレーヤ、テレビ、車両、自動車、パーソナルカメラ、ウェアラブルカメラ、仮想現実デバイス（たとえば、ヘッドセット）、拡張現実デバイス（たとえば、ヘッドセット）、複合現実デバイス（たとえば、ヘッドセット）、アクションカメラ、監視カメラ、搭載カメラ、接続カメラ、ロボット、航空機、ドローン、無人航空機（ＵＡＶ）、スマートアプリケーション、ヘルスケア機器、ゲーム機、携帯情報端末（ＰＤＡ）、セットトップボックス、器具などを含む。電子デバイス１０２は、１つまたは複数の構成要素または要素を含み得る。構成要素または要素のうちの１つまたは複数は、ハードウェア（たとえば、回路機構）またはハードウェアとソフトウェアの組合せ（たとえば、命令をもつプロセッサ）で実装され得る。

[0032]いくつかの構成では、電子デバイス１０２は、プロセッサ１１２、メモリ１２２、ディスプレイ１２４、１つもしくは複数の画像センサー１０４、１つもしくは複数の光学システム１０６、および／または通信インターフェース１０８を含み得る。プロセッサ１１２は、メモリ１２２、ディスプレイ１２４、画像センサー１０４、光学システム１０６、および／または通信インターフェース１０８に結合され（たとえば、それらと電気通信し）得る。プロセッサ１１２は、汎用シングルチップマイクロプロセッサまたはマルチチップマイクロプロセッサ（たとえば、ＡＲＭ）、専用マイクロプロセッサ（たとえば、デジタル信号プロセッサ（ＤＳＰ））、マイクロコントローラ、プログラマブルゲートアレイなどであり得る。プロセッサ１１２は、中央処理ユニット（ＣＰＵ）と呼ばれ得る。単一のプロセッサ１１２が電子デバイス１０２内に示されているが、代替の構成では、プロセッサの組合せ（たとえば、ＩＳＰとアプリケーションプロセッサ、ＡＲＭとＤＳＰ、など）が使われてもよい。プロセッサ１１２は、本明細書で開示する１つまたは複数の方法を実装するように構成され得る。

[0033]いくつかの構成では、電子デバイス１０２は、図２〜図１０のうちの１つまたは複数に関連して説明する機能、手順、方法、ステップなどのうちの１つまたは複数を実施することができる。追加または代替として、電子デバイス１０２は、図２〜図１０のうちの１つまたは複数に関連して説明する構造のうちの１つまたは複数を含み得る。

[0034]通信インターフェース１０８は、電子デバイス１０２が１つまたは複数の他の電子デバイスと通信することを可能にし得る。たとえば、通信インターフェース１０８は、ワイヤードおよび／またはワイヤレス通信のためのインターフェースを提供し得る。いくつかの構成では、通信インターフェース１０８は、無線周波数（ＲＦ）信号を送信および／または受信するために、１つまたは複数のアンテナ１１０に結合され得る。追加または代替として、通信インターフェース１０８は、１つまたは複数の種類の有線（たとえば、ユニバーサルシリアルバス（ＵＳＢ）、イーサネット（登録商標）など）通信を可能にし得る。

[0035]いくつかの構成では、複数の通信インターフェース１０８が実装および／または使用され得る。たとえば、１つの通信インターフェース１０８は、セルラー（たとえば、３Ｇ、ロングタームエボリューション（ＬＴＥ（登録商標））、ＣＤＭＡなど）通信インターフェース１０８であってよく、別の通信インターフェース１０８は、イーサネットインターフェースであってよく、別の通信インターフェース１０８は、ユニバーサルシリアルバス（ＵＳＢ）インターフェースであってよく、さらに別の通信インターフェース１０８は、ワイヤレスローカルエリアネットワーク（ＷＬＡＮ）インターフェース（たとえば、米国電気電子技術者協会（ＩＥＥＥ）８０２．１１インターフェース）であってよい。いくつかの構成では、通信インターフェース１０８は、別のデバイス（たとえば、車両、スマートフォン、カメラ、ディスプレイ、リモートサーバなど）に情報（たとえば、画像情報、サラウンドビュー情報など）を送り、および／またはそこから情報を受信することができる。

[0036]電子デバイス１０２は、１つまたは複数の画像（たとえば、デジタル画像、画像フレーム、フレーム、ビデオなど）を取得し得る。たとえば、電子デバイス１０２は、画像センサー１０４と、光学システム１０６の視野内に位置するシーンおよび／またはオブジェクトの画像を画像センサー１０４上に集束させる光学システム１０６（たとえば、レンズ）とを含み得る。カメラ（たとえば、可視スペクトルカメラまたはその他）は、少なくとも１つの画像センサーと、少なくとも１つの光学システムとを含み得る。したがって、電子デバイス１０２は、１つもしくは複数のカメラであってよく、および／またはいくつかの実装形態では、１つもしくは複数のカメラを含み得る。いくつかの構成では、画像センサー１０４は、１つまたは複数の画像（たとえば、画像フレーム、ビデオ、静止画像、バーストモード画像など）をキャプチャすることができる。光学システム１０６は、プロセッサ１１２に結合され、および／またはそれによって制御され得る。追加または代替として、電子デバイス１０２は、１つまたは複数の画像を、別のデバイス（たとえば、電子デバイス１０２に結合された１つまたは複数の外部カメラ、ネットワークサーバ、トラフィックカメラ、ドロップカメラ、車両カメラ、ウェブカメラなど）に対して要求し、および／またはそこから受信し得る。いくつかの構成では、電子デバイス１０２は、通信インターフェース１０８を介して１つまたは複数の画像を要求および／または受信し得る。たとえば、電子デバイス１０２は、カメラ（たとえば、画像センサー１０４、および／または光学システム１０６）を含んでも、または含まなくてもよく、１つまたは複数のリモートデバイスから画像を受信し得る。画像（たとえば、画像フレーム）のうちの１つまたは複数は、１つもしくは複数のシーンおよび／または１つもしくは複数のオブジェクトを含み得る。

[0037]いくつかの構成では、電子デバイス１０２は画像データバッファ（図示せず）を含み得る。画像データバッファは、画像センサー１０４および／または外部カメラからの画像データをバッファリング（たとえば、記憶）することができる。バッファリングされた画像データは、プロセッサ１１２に提供されてよい。

[0038]いくつかの構成では、電子デバイス１０２は、カメラソフトウェアアプリケーションおよび／または１つもしくは複数のディスプレイ１２４を含み得る。カメラアプリケーションが稼働しているとき、光学システム１０６の視野内に位置するオブジェクトの画像が、画像センサー１０４によってキャプチャされ得る。画像センサー１０４によってキャプチャされている画像は、ディスプレイ１２４上に提示されてよい。たとえば、１つまたは複数の画像が、ユーザによる閲覧のために、ディスプレイ１２４に送られ得る。いくつかの構成では、これらの画像は、前にキャプチャされたシーンの画像データを含み得るメモリ１２２から再生され得る。電子デバイス１０２によって取得された１つまたは複数の画像は、１つもしくは複数のビデオフレームおよび／または１つもしくは複数の静止画像であり得る。いくつかの構成では、ディスプレイ１２４は、画像センサー１０４の全視野および／またはズーム領域を提示することができる。

[0039]プロセッサ１１２は、画像取得器１１４を含み、および／または実装することができる。１つまたは複数の画像フレームが、画像取得器１１４に提供されてよい。たとえば、画像取得器１１４は、１つまたは複数の画像センサー１０４から、画像フレームを取得し得る。たとえば、画像取得器１１４は、１つもしくは複数の画像センサー１０４から、および／または１つもしくは複数の外部カメラから、画像データを受信し得る。上述したように、画像は、電子デバイス１０２中に含まれる画像センサー１０４からキャプチャされてよく、または１つもしくは複数のリモートカメラからキャプチャされてよい。

[0040]いくつかの構成では、画像取得器１１４は、１つまたは複数の画像（たとえば、画像フレームなど）を要求および／または受信し得る。たとえば、画像取得器１１４は、通信インターフェース１０８を介して、１つまたは複数の画像を、リモートデバイス（たとえば、外部カメラ、リモートサーバ、リモート電子デバイスなど）に対して要求し、および／またはそこから受信し得る。カメラから取得された画像は、自動ズームを実施するように、プロセッサ１１２によって処理され得る。

[0041]プロセッサ１１２は、オブジェクト追跡器１１６を含み、および／または実装することができる。画像フレームのうちの１つまたは複数が、オブジェクト追跡器１１６に提供されてよい。オブジェクト追跡器１１６は、１つまたは複数の画像フレーム中で１つまたは複数のオブジェクトを追跡することができる。たとえば、オブジェクト追跡器１１６は、１つまたは複数のオブジェクトを追跡したことに基づいて、オブジェクト追跡情報を取得することができる。オブジェクト追跡情報は、追跡されるオブジェクト（たとえば、追跡領域、境界領域、境界ボックス、関心領域（ＲＯＩ）など）に対応するロケーション情報および／またはサイズ情報を含み得る。いくつかの構成では、オブジェクト追跡器１１６は、タッチツートラック（touch-to-track）技法を実装することができる。たとえば、ユーザインターフェース１２６が、関心オブジェクトを指示する入力（たとえば、タッチ入力、マウスクリック、ジェスチャーなど）を受信し得る。指示は、オブジェクト追跡器１１６に提供され得る。オブジェクト追跡器１１６は、関心オブジェクトを含む追跡領域（たとえば、境界領域、境界ボックス、ＲＯＩなど）のロケーションおよび／またはサイズを決定することができる。したがって、オブジェクト追跡器１１６は、いくつかの構成では、比較的少ないユーザ入力（たとえば、ワンタッチ）に基づいて、追跡領域のロケーションとサイズとを提供し得る。追跡情報に基づいて、ズームコントローラ１２０（たとえば、自動ズーム）は、ズーム領域のズーミングレベルおよび／またはロケーションを決定することができる。オブジェクト追跡器１１６のいくつかの例は、光学フローを実装し得る。

[0042]いくつかの構成では、オブジェクト追跡器１１６は、（画像フレームのうちの）現在フレームの追跡領域に基づいてオブジェクト追跡を実施し得る。たとえば、オブジェクト追跡器１１６は、フレームごとに画像内容（たとえば、オブジェクト）を追跡することを試みてよい。オブジェクト追跡は、後続フレーム中の画像内容の推定ロケーションを提供し得る。いくつかの構成では、オブジェクト追跡器１１６は、動きに基づくオブジェクト追跡を実施し得る。たとえば、オブジェクト追跡器１１６は、フレームの間のオブジェクトの動き（たとえば、オブジェクトに対応する動きベクトル）を決定することができる。いくつかの構成では、オブジェクト追跡器１１６は、追跡のためにフレーム減算手法を使用しなくてよい。たとえば、フレーム減算は通常、正しく機能するために、同じ視点から２つのフレームがとられることを必要とし得る。本明細書で開示するシステムおよび方法のいくつかの構成は、同じ観点から２つのフレームがとられることを想定しなくてよい。たとえば、いくつかの構成では、カメラが動いている場合があると想定され得る。

[0043]オブジェクト追跡器１１６は、オブジェクト追跡に基づいて、（画像フレームのうちの）後続フレームの追跡領域（たとえば、境界領域、境界ボックス、ＲＯＩなど）を決定することができる。たとえば、オブジェクト追跡器１１６は、追跡される画像内容に対応する、後続フレームの追跡領域を（たとえば、追跡されるオブジェクトに対応する動きベクトルに従って）生成し得る。いくつかの構成では、オブジェクト追跡器１１６は、現在フレーム追跡領域から抽出された１つまたは複数の特徴（たとえば、特徴ベクトル）を、対応する後続フレーム追跡領域を決定するのに使用することができる。たとえば、オブジェクト追跡器１１６は、追跡領域（たとえば、検出された追跡領域、ユーザ入力に対応する追跡領域など）に基づいて、１つまたは複数の特徴を抽出してよい。

[0044]プロセッサ１１２は、グローバル動き推定器１１８を含み、および／または実装することができる。たとえば、グローバル動き推定手法が、カメラの動きを推定するのに使用される。グローバル動き推定器１１８は、フレームの間のグローバル動きを推定する（たとえば、グローバル動き推定を実施する）ことができる。グローバル動きは、フレームの間での内容（たとえば、全内容、または一般に内容）の動きであり得る。グローバル動き情報は、グローバル動きのインジケータおよび／または推定値であってよい。いくつかの構成では、グローバル動き情報を決定することは、フレームの間の１つまたは複数の動きベクトルを（たとえば、光学フローを用いて）計算することを含み得る。たとえば、グローバル動きベクトルは、フレームの大部分にまたがり得る。いくつかの構成では、グローバル動きベクトルは、フレームの特定の割合をカバーし得る。たとえば、グローバル動きベクトルは、画像の９０％にまたがり、および／または考慮し得る（また、たとえば、境界線を無視し得る）。いくつかの構成では、グローバル動きベクトルは、画像を覆うグリッドパターンにおいて決定され得る。グローバル動きは、いくつかの手法では、入力画像のみに基づいて（たとえば、加速度計および／またはジャイロのような動きセンサーからの動き情報など、他の入力動き情報なしで）決定され得る。

[0045]いくつかの構成では、グローバル動き推定器１１８は、追加または代替として、（たとえば、画像データに加えて）他の動きセンサーデータに基づいてグローバル動きを推定し得る。たとえば、電子デバイス１０２は、１つまたは複数の加速度計、ジャイロ、および／または他の動きセンサーを含み得る。動きセンサーによって検知された動きデータは、グローバル動き推定器１１８に与えられてよい。グローバル動き推定器１１８は、いくつかの構成では、動きデータに基づいてグローバル動き情報（たとえば、グローバル動き推定値）を決定し得る。いくつかの構成では、グローバル動き情報は、機械制御に依存せずに決定され得る。たとえば、グローバル動き情報は、機械制御信号（たとえば、カメラを動かす（たとえば、パンおよびチルト）ための機械アクチュエータを制御する信号）に基づかなくてよい。たとえば、動き制御信号が既知である場合、グローバル動きを推定することは決定論的でなくてよい。

[0046]プロセッサ１１２は、ズームコントローラ１２０を含み、および／または実装することができる。ズームコントローラ１２０は、自動ズームを実施することができる。たとえば、ズームコントローラ１２０は、ズーム領域のロケーション、動き、動き応答速度、サイズ、および／またはズームレベルを制御することができる。ズーム領域とは、画像センサー１０４および／またはリモートカメラの全視野内の領域であり得る。たとえば、ズーム領域は、全視野の下位領域であってよい（また、たとえば、全視野に相対してよい）。ズーム領域内の画像内容は、画像内容を拡張するために拡大され（たとえば、デジタルにスケーリングされ、および／または強調され、など）得る。いくつかの構成では、自動ズームを実施することは、グローバル動き情報および／またはオブジェクト追跡情報に基づき得る。ズームコントローラ１２０は、図２〜図９のうちの１つまたは複数に関連して記載される１つまたは複数の関数、手順、および／または手法に従って自動ズームを実施することができる。

[0047]いくつかの構成では、電子デバイス１０２は、実世界での、追跡情報、オブジェクト移動、および／またはカメラ移動を決定することが可能であり得る。そのような情報は、ズームロケーション算出および／またはシーン安定性を向上するのに使われ得る。

[0048]本明細書で開示するシステムおよび方法は、向上したズーミング戦略の１つまたは複数の側面を使用し得る。たとえば、ズーミング戦略は、関心オブジェクトを追うことが可能な場合があり、および／または全体的シーン移動を安定させることを目指すことができる。たとえば、ズームされる領域は、前景（追跡されるオブジェクト）および／またはグローバル動き（たとえば、カメラの動き）に基づいて決定され得る。追跡領域（たとえば、境界領域、境界ボックスなど）のサイズが変わると、ビューは、関心オブジェクトが妥当な比でズーム領域中に現れるように、平滑に更新され得る。追跡されるオブジェクトがフレーム中で欠落し、または追跡器が追跡できなくなった場合、ズーミング戦略は、元の視野（たとえば、全視野）に平滑にフォールバックすればよく、ここで、品質は、自動ズームが提供されないときよりも悪くならない。

[0049]本明細書で開示するシステムおよび方法は、以下の特徴のうちの１つまたは複数を実装することができる。たとえば、電子デバイス１０２は、追跡に基づく自動ズームを実施し得る。いくつかの構成では、ズームコントローラ１２０は、追跡（たとえば、関心領域（ＲＯＩ））駆動ズーミング効果をもつ自動ズームを実施することができる。たとえば、ズーミング効果は、追跡されるオブジェクト（たとえば、追跡領域）の移動、ロケーション、および／またはサイズに基づいて自動的に変えられ得る。いくつかの構成では、オブジェクト追跡は、カメラの全体の視野に作用し（たとえば、それをカバーし）得る。たとえば、オブジェクト追跡は、（たとえば、ズーム領域が全視野を含まないときであっても）カメラ入力の全視野に基づき得る。追加または代替として、ズームコントローラ１２０は、オブジェクトの動きに基づいて、フレームごとにズームレベルを調節することができる。

[0050]いくつかの構成では、最小ユーザ入力が使用され得る。たとえば、オブジェクト追跡（たとえば、オブジェクト追跡器１１６によるオブジェクト追跡）は、単一のオブジェクト指示（たとえば、単一のピクセルの１つの指示）に基づき得る。たとえば、オブジェクト追跡器１１６は、受信された入力によって示されたロケーション（たとえば、ピクセル）を使用することができる。いくつかの例では、オブジェクト追跡器１１６は、関心オブジェクトを選択するのに、ワンタッチ入力を使用することができる。他の手法では、オブジェクト追跡器１１６は、たとえば、マウスクリック入力、タッチパッドタップ入力、視線追跡ロケーション、またはジェスチャー入力から指示されたロケーション（たとえば、ピクセル）を使うことができる。オブジェクト追跡器１１６は次いで、プレビューおよび／またはビデオキャプチャ中に関心オブジェクトを自動追跡することができる。

[0051]いくつかの構成では、全視野処理および／または表示が実装され得る。たとえば、（たとえば、オブジェクト追跡器１１６による）オブジェクト追跡は、元のカメラ視野（たとえば、視野を狭めることなく、カメラ（たとえば、画像センサー１０４および光学システム）によってキャプチャされた画像全体）において稼働し得る。したがって、（拡張され、より焦点の合った視野を有する）ズーム領域がデバイス上で提示および／またはキャプチャされ得る間、関心オブジェクトは、広角視野（カメラセンサーのものと同じであってよい）中で移動し得る。たとえば、ズーム領域は、全視野のサブセットを含み得る。ズーム領域が全視野のサブセットであるときでも、追跡は、全視野に基づいて実施され得る（たとえば、全視野を検討し、処理し、および／または考慮に入れることができる）。ズーム領域動きおよび／またはズーム領域動き応答速度は、全視野に関連し得ることに留意されたい。いくつかの手法では、ズーム領域および全視野は、同じ画像センサー（たとえば、カメラ）から提供され得る。

[0052]いくつかの構成では、本明細書で開示するシステムおよび方法（たとえば、ズームコントローラ１２０）は、向上した安定化を実装することができる。グローバル動き推定を利用することによって、たとえば、１つまたは複数の安定化手法が、動き（たとえば、ユーザ）によって引き起こされるジッタを削減するために適用され得る。したがって、より安定した結果が生成され得る。

[0053]いくつかの構成では、本明細書で開示するシステムおよび方法（たとえば、ズームコントローラ１２０）は、平滑なズーミング比遷移を提供することができる。ズーミング比は、オブジェクトのサイズに関連してよく、および／またはスケーリング履歴に基づいて安定されてよく、これにより、平滑なズーミング比遷移と、良好な視覚効果とが生じ得る。いくつかの構成では、ズーム（たとえば、ズーム率、倍率など）は、追跡領域サイズおよびズーム領域サイズに基づき得る。たとえば、ズームレベルは、追跡領域とズーム領域とのサイズ比に基づき得る。たとえば、ズームコントローラ１２０は、サイズ比が最小ズーム閾未満である場合にはズームを増大してよい。追加または代替として、ズームコントローラ１２０は、サイズ比が最大ズーム閾よりも大きい場合にはズームを低下してよい。最大ズーム閾および最小ズーム閾は同じであってもよく、異なってもよい。たとえば、最小ズーム閾と最大ズーム閾との間には、一定の範囲があってよい。ズームを制御する、より具体的な例が、図８に関連して示される。

[0054]いくつかの構成では、ズームコントローラ１２０は、グローバル動き情報に基づいてズーム領域動きを決定することができる。たとえば、フレームの間でのズーム領域の動きまたは（たとえば、現在フレーム中での）ズーム領域のロケーションは、（たとえば、前フレームと現在フレームとの間の）グローバル動きに基づいて決定され得る。いくつかの手法では、ズーム領域動き（たとえば、現在フレームにおけるズーム領域ロケーション）は、現在フレームグローバル動き（たとえば、前フレームから現在フレームへのグローバル動き）に基づき得る。いくつかの手法では、１つまたは複数の前フレームのグローバル動き（たとえば、前フレームと前フレームの前のフレームとの間のグローバル動き、より以前のフレームの間のグローバル動きなど）が、ズーム領域動きを決定するのに使用されてよい。いくつかの手法では、ズームコントローラ１２０は、グローバル動きと、現在フレームズーム領域アンカーポイントと前フレームズーム領域アンカーポイントとの間の差の和に基づいて、ズーム領域動きを決定することができる。追加または代替として、ズームコントローラ１２０は、グローバル動き、現在フレームズーム領域アンカーポイントと前フレームズーム領域アンカーポイントとの間の差、前フレームグローバル動き、および前フレームズーム領域アンカーポイントと早期フレームズーム領域アンカーポイントとの間の差に基づいてズーム領域動きを決定することができる。グローバル動き情報に基づいてズーム領域動きを決定する、より多くの具体例が、図４に関連して与えられる。ズームコントローラ１２０は、ズーム領域動き速度および／またはズーム領域加速度に従ってズーム領域動きを決定する（たとえば、算出する、計算する、など）のに、グローバル動き情報（たとえば、グローバル動き）を使用することができる。いくつかの構成では、ズーム領域動きは、機械的パン、チルト、および／またはズーム（たとえば、パン、チルト、および／またはズームのためのモータ、アクチュエータなど）を駆動しなくてよい。

[0055]追加または代替として、ズームコントローラ１２０は、追跡されるオブジェクト（たとえば、追跡領域、追跡領域アンカーポイントなど）とズーム領域のアンカーポイントとの間の距離に基づいてズーム領域動きを決定することができる。たとえば、ズームコントローラ１２０は、現在フレームの追跡されるオブジェクト（たとえば、現在フレーム追跡領域アンカーポイント）と、ズーム領域の現在フレームアンカーポイントとの間の距離に基づいて、ズーム領域動きを決定することができる。追跡されるオブジェクトとズーム領域アンカーポイントとの間の距離は、ズームコントローラ１２０によって決定され得る。いくつかの構成では、ズームコントローラ１２０は、追加または代替として、前フレームの追跡されるオブジェクト（たとえば、前フレーム追跡領域アンカーポイント）と、ズーム領域の前フレームアンカーポイントとの間の距離に基づいてズーム領域動きを決定することができる。グローバル動き情報に基づいてズーム領域動きを決定する、より多くの具体例が、図４に関連して与えられる。ズームコントローラ１２０は、追跡領域（たとえば、追跡領域アンカーポイント）とズーム領域アンカーポイントとの間の距離ならびに／または距離の（および／もしくはズーム領域の）変化レートに従ってズーム領域動きを決定する（たとえば、算出する、計算する、など）のに、追跡情報（たとえば、追跡領域アンカーポイント）を使用することができる。

[0056]いくつかの構成では、ズームコントローラ１２０は、ズーム領域が境界線バッファゾーンに入り、追跡されるオブジェクトが画像境界に向かって移動している場合に、グローバル動きを補償することができる。たとえば、ズームコントローラ１２０は、前フレームズーム領域アンカーポイントおよびグローバル動きに基づいて、現在フレームズーム領域アンカーポイントを決定することができる。この場合にグローバル動きを補償する、より詳細な例が、図７に関連して与えられる。

[0057]いくつかの構成では、ズームコントローラ１２０は、ズーム領域内の追跡されるオブジェクトのロケーションに基づいてズーム領域動き応答速度を決定することができる。たとえば、ズームコントローラ１２０は、（たとえば、視野内の）ズーム領域の水平および／または垂直並進を制御することができる。いくつかの手法では、領域動き応答速度は、ズーム領域内の追跡されるオブジェクト（たとえば、追跡領域）のロケーションに基づいて変化し得る。たとえば、ズームコントローラ１２０は、追跡されるオブジェクト（たとえば、追跡領域）とズーム領域の境界線との間の近接度に依存して、ズーム領域動き応答速度（たとえば、並進応答速度）を調節することができる。いくつかの構成では、ズーム領域動き応答速度は、ズーム領域の中心の近くではより遅くてよく、ズーム領域の端の近くではより速くてよい。このようにして、ズーム領域は、追跡されるオブジェクト（たとえば、追跡領域）の動きを、ズーム領域の中心の近くではゆっくりと追うことができる。これは、オブジェクトがズーム領域の中心の近くにある間、平滑な遅い動きを可能にし得る。ズーム領域は、追跡されるオブジェクト（たとえば、追跡領域）の動きを、オブジェクトがズーム領域の端に近づくと、素早く追うことができる。この手法は、オブジェクトが追跡領域の境界線に近づくと、ズーム領域が、追跡されるオブジェクトを素早く追うことができることを保証するのを助け得る。

[0058]いくつかの構成では、ズーム領域動き応答速度を決定することは、ズーム領域内の２つ以上のゾーンに基づき得る。各ゾーンは、関連付けられたズーム領域動き応答速度を有し得る。一例では、ズーム領域５４０は２つのゾーンを含み得る。第１のゾーンは低速応答ゾーンであってよく、第２のゾーンは高速応答ゾーンであってよい。低速応答ゾーンは、ズーム領域の中心に位置し得る。高速応答ゾーンは、ズーム領域の端の近くに位置し得る。たとえば、高速応答ゾーンは、低速応答ゾーンを取り巻き、または取り囲み得る。いくつかの実装形態では、低速応答ゾーンは、ズーム領域の中心にある方形ゾーンであってよく、高速応答ゾーンは、低速応答ゾーンとズーム領域の境界線との間にあってよい。追跡されるオブジェクト（たとえば、追跡領域）が低速応答ゾーン内にある間、ズーム領域は、比較的遅いズーム領域動き応答速度を有し得る。追跡されるオブジェクト（たとえば、追跡領域）が（たとえば、部分的または完全に）高速応答ゾーンに入ると、ズーム領域は、比較的速いズーム領域動き応答速度を有し得る。２つのゾーンの例が、図６に関して説明される。異なる数のゾーンが使用され得ることに留意されたい。たとえば、２つ以上のゾーンは各々、対応するズーム領域動き応答速度（たとえば、１つまたは複数の重み）を有し得る。２つ以上のゾーンは、中心ゾーンを超える各追加ゾーンが（たとえば、円形または方形の「金的」パターンの）最後のゾーンを取り囲み、または取り巻くように並べられ得る。

[0059]いくつかの構成では、ズーム領域動き応答速度は、複数の重みで制御され得る。たとえば、１つまたは複数の重みが、応答ゾーンの各々に対応してよく（たとえば、低速応答ゾーン向けに重みの第１のセット、および高速応答ゾーン向けに重みの第２のセット）、ならびに／または特定のズーム領域応答速度を指示することができる。たとえば、ズームコントローラ１２０は、追跡されるオブジェクト（たとえば、追跡領域）が現在位置するゾーンに対応する１つまたは複数の重みを選択すればよい。選択された重みは、対応するズーム領域応答速度を実装し得る。重みの例は、図４に関連して記載される。

[0060]いくつかの構成では、ズーム領域動き応答速度は、ズーム領域に相対した、追跡されるオブジェクト（たとえば、追跡領域）のロケーションの連続関数に基づいて決定され得る。たとえば、連続関数は、追跡されるオブジェクトのロケーションをズーム領域動き応答速度にマップし得る。たとえば、ズーム動き応答速度は、追跡されるオブジェクトがズーム領域の中心に位置するときは０であってよく、追跡されるオブジェクトがズーム領域の中心から離れて移動するのに従って、漸次増大し得る。たとえば、連続関数は、追跡されるオブジェクト（たとえば、追跡領域）のロケーションを、ズーム領域動き応答速度を制御する１つまたは複数の重みにマップし得る。

[0061]いくつかの構成では、遷移ゾーンが使用され得る。遷移ゾーンとは、異なるズーム領域動き応答ゾーンの間のゾーンであり得る。遷移ゾーンは、異なるズーム領域応答速度の間のジッタリングおよび／または素早い切替えを防止するのに役立ち得る。たとえば、ズームコントローラ１２０は、追跡されるオブジェクト（たとえば、追跡領域）が遷移ゾーンを超えるまで、ズーム領域動き応答速度を変えることができない。遷移ゾーンの例が、図６に関して説明される。

[0062]プロセッサ１１２は、ズーム情報（たとえば、ズームされた領域情報、クロップされたズーム領域など）を提供することができる。たとえば、プロセッサ１１２は、ズーム領域を、表示のためにディスプレイ１２４に提供し得る。追加または代替として、プロセッサ１１２は、ズーム領域を（たとえば、通信インターフェース１０８を介して）別のデバイスに送ってよい。いくつかの構成では、ズーム領域（たとえば、クロップされたズーム領域）が提示され得る。ズーム領域は、いくつかの手法では、ディスプレイ１２４のビューの一部分のみを占め得る（たとえば、ピクチャインピクチャ（ＰｉＰ）、ピクチャアンドピクチャなど）。たとえば、ズーム領域は、全視野の上に提示され得る。他の手法では、ズーム領域は、ビュー全体を占め得る。たとえば、ズーム領域がズームインされると、全視野が示されない場合がある。オブジェクト追跡は、全視野が提示されるかどうかにかかわらず、全視野に対して作用し得ることに留意されたい。

[0063]本明細書で開示するシステムおよび方法のいくつかの構成は、デジタルズーム手法（たとえば、純粋にデジタルなズーム手法）であり得る。たとえば、自動ズームを実施することは、いくつかの手法では、光学ズーム（たとえば、焦点距離）を変えることを含まない場合がある。したがって、全視野サイズおよび／または光学システム焦点距離は静的であってよい（ただし、視点、カメラの動き、および／またはシーンはフレームごとに変わってよい）。たとえば、自動ズームを実施することは、いくつかの手法では、別個に、および／または光学ズームから独立して遂行され得る（たとえば、焦点距離を使用しなくてよい）。自動ズームを実施することは、いくつかの構成では、光学ズームとともに実施され得ることに留意されたい。

[0064]メモリ１２２は、命令および／またはデータを記憶し得る。プロセッサ１１２は、メモリ１２２にアクセスし（たとえば、そこから読み取り、および／またはそこに書き込み）得る。メモリ１２２によって記憶され得る命令および／またはデータの例は、画像データ（たとえば、ズーム領域データ）、画像取得器１１４命令、ズームコントローラ１２０命令、オブジェクト追跡器１１６命令、および／またはグローバル動き推定器１１８命令などを含み得る。

[0065]メモリ１２２は、画像と、プロセッサ１１２による動作を実施するための命令コードとを記憶することができる。メモリ１２２は、電子情報を記憶することが可能な任意の電子構成要素であってよい。メモリ１２２は、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、磁気ディスク記憶媒体、光記憶媒体、ＲＡＭのフラッシュメモリデバイス、プロセッサに含まれるオンボードメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭ（登録商標）メモリ、レジスタなど、およびそれらの組合せを含んで具現化され得る。

[0066]データおよび命令は、メモリ１２２に記憶され得る。命令は、本明細書で説明する方法のうちの１つまたは複数を実装するためにプロセッサ１１２によって実行可能であり得る。命令を実行することは、メモリ１２２に記憶されたデータの使用を伴い得る。プロセッサ１１２が命令を実行すると、命令の様々な部分がプロセッサ１１２上にロードされてよく、様々ないくつかのデータがプロセッサ１１２上にロードされてよい。

[0067]いくつかの構成では、電子デバイス１０２は、ディスプレイ１２４上にユーザインターフェース１２６を提示し得る。たとえば、ユーザインターフェース１２６は、ユーザが電子デバイス１０２と対話することを可能にし得る。いくつかの構成では、ユーザインターフェース１２６は、ユーザが、（追跡および／もしくはズーム用の）オブジェクトを選択し、ならびに／またはズーム挙動についての選好を指示することを可能にし得る。たとえば、ユーザインターフェース１２６は、タッチ、マウスクリック、ジェスチャーならびに／または追跡および／もしくはズーム用のオブジェクトを識別する何らかの他の指示を受信し得る。

[0068]ディスプレイ１２４は、電子デバイス１０２の中に統合されてよく、および／または電子デバイス１０２に結合されてよい。たとえば、電子デバイス１０２は、統合型ディスプレイをもつスマートフォンであってよい。別の例では、電子デバイス１０２は、１つもしくは複数のリモートディスプレイ１２４に、および／または１つもしくは複数のディスプレイ１２４を含む１つもしくは複数のリモートデバイスに結合され得る。

[0069]電子デバイス１０２（たとえば、プロセッサ１１２）は、任意選択で、１つまたは複数の種類のデバイスの一部に結合され（たとえば、デバイスに統合され）、デバイスを含み、デバイスを実装し得る。たとえば、電子デバイス１０２は、カメラを装備するドローンにおいて実装され得る。別の例では、電子デバイス１０２（たとえば、プロセッサ１１２）は、アクションカメラにおいて実装され得る。

[0070]電子デバイスの要素または構成要素のうちの１つまたは複数は組み合わされ、および／または分割され得ることに留意されたい。たとえば、画像取得器１１４、ズームコントローラ１２０、オブジェクト追跡器１１６および／またはグローバル動き推定器１１８が組み合わされてよい。追加または代替として、画像取得器１１４、ズームコントローラ１２０、オブジェクト追跡器１１６および／またはグローバル動き推定器１１８のうちの１つまたは複数は、それらの動作のサブセットを実施する要素または構成要素に分割されてよい。

[0071]図２は、自動ズームを実施するための方法２００の一構成を示す流れ図である。方法２００は、本明細書に記載される電子デバイスのうちの１つまたは複数（たとえば、図１に関連して記載された電子デバイス１０２）によって実施され得る。電子デバイス１０２は、２０２において、複数の画像（たとえば、静止画像、ビデオフレームなど）を取得し得る。これは、図１に関して説明されたように遂行され得る。たとえば、電子デバイス１０２は、１つもしくは複数の統合型画像センサー（たとえば、カメラ）で複数の画像をキャプチャすることができ、および／またはリモートデバイスから複数の画像を受信することができる。

[0072]電子デバイス１０２は、２０４において、グローバル動き情報を取得し得る。これは、図１に関して説明されたように遂行され得る。たとえば、電子デバイス１０２は、（たとえば、光学フローをもつ）後続画像の間の移動に基づいて、および／または１つもしくは複数の動きセンサー動き情報に基づいて、グローバル動き推定値を決定することができる。グローバル動き情報は、カメラおよび／または画像内容が画像の間で移動したかどうか、および／またはどのように移動したかを示し得る。

[0073]電子デバイス１０２は、２０６において、オブジェクト追跡情報を取得し得る。これは、図１に関して説明されたように遂行され得る。たとえば、電子デバイス１０２は、画像の間でオブジェクトを追跡することができる。オブジェクト追跡情報は、オブジェクトが画像の間で移動したかどうか、および／またはどのように移動したかを示し得る。たとえば、オブジェクト追跡情報は、現在フレームにおける関心領域、オブジェクトの動きを示す動きベクトルなどを含み得る。

[0074]電子デバイス１０２は、２０８において、グローバル動き情報およびオブジェクト追跡情報に基づいて自動ズームを実施し得る。これは、図１に関して説明されたように遂行され得る。たとえば、電子デバイス１０２は、図１および図３〜図９のうちの１つまたは複数に関連して説明する手順のうちの１つまたは複数を実施し得る。たとえば、電子デバイス１０２は、ズーム率を調節してよい（または、しなくてよい）。追加または代替として、電子デバイス１０２は、ズーム領域動き応答速度および追跡されるオブジェクト（たとえば、追跡領域）のロケーションに基づいて、ズーム領域ロケーションを調節してよい（または、しなくてよい）。いくつかの構成では、電子デバイス１０２は、ズーム領域動き応答速度を決定することができる。たとえば、電子デバイス１０２は、追跡されるオブジェクトがズーム領域の中心の近くにあるときは比較的遅いズーム領域動き応答速度を決定してよく、追跡されるオブジェクトがズーム領域の境界線または端の近くにあるときは比較的速いズーム領域動き応答速度を決定してよい。２０８において自動ズームを実施すると、ズーム領域を生じ、および／または更新し得る。

[0075]いくつかの構成では、電子デバイス１０２は、ズーム領域を提示し得る。たとえば、電子デバイス１０２は、ディスプレイ（たとえば、統合型またはリモートディスプレイ）にズーム領域を提示し得る。

[0076]図３は、自動ズームパイプラインの一例を示すブロック図である。具体的には、図３は、グローバル動き推定器３１８と、オブジェクト追跡器３１６と、ズームコントローラ３２０とを示す。グローバル動き推定器３１８、オブジェクト追跡器３１６、および／またはズームコントローラ３２０は、図１および図２のうちの１つまたは複数に関連して記載された対応する要素の例であり得る。

[0077]入力画像３３０（たとえば、入力フレーム）は、グローバル動き推定器３１８に、オブジェクト追跡器３１６に、および／またはズームコントローラ３２０に与えられてよい。グローバル動き推定器３１８は、カメラの動きおよび／または画像内容を推定することができる。たとえば、グローバル動き推定器３１８は、画像間（たとえば、フレーム間）カメラ動きを計算することができる。得られたグローバル動き情報は、実世界でのカメラ移動を反映することができ、これは、上述したように、ズームロケーション算出および／またはシーン安定性を向上するのに使用され得る。

[0078]オブジェクト追跡器３１６（たとえば、タッチツートラックオブジェクト追跡器３１６）は、入力画像３３０（たとえば、フレーム）におけるオブジェクトの動きと、入力画像３３０（たとえば、フレーム）におけるオブジェクトサイズとを計算することができる。いくつかの構成では、オブジェクト追跡器３１６は、タッチツートラック技法を実装することができる。たとえば、最小限のユーザ入力（たとえば、ワンタッチ）で、オブジェクト追跡器１１６は、関心オブジェクトを含む追跡領域（たとえば、境界領域、境界ボックスなど）のロケーションおよび／またはサイズを決定することができる。追跡情報に基づいて、ズームコントローラ３２０（たとえば、自動ズーム）は、ズーム領域のズーミングレベルおよび／またはロケーションを決定することができる。

[0079]ズームコントローラ３２０は、クロップされたビデオに対する平滑性制約の下でズーム領域（たとえば、クロップされたフレーム）のロケーションおよび／またはサイズを計算するのに、グローバル動き情報（たとえば、カメラの動きの情報）とオブジェクト追跡情報（たとえば、ターゲットオブジェクト動き情報）とを活用し得る。ズームコントローラ３２０は、上述した、向上したズーミング戦略の側面のうちの１つまたは複数を実装し得る。たとえば、ズームコントローラ３２０は、関心オブジェクトを追い、および／または全体的シーン移動を安定させるために、ズーム領域を制御すればよい。追加または代替として、ズームコントローラ３２０は、（関心オブジェクトを、ズーム領域に対して妥当なサイズ比に保つように）追跡領域のサイズが変わったとき、視野を平滑に更新することができる。追加または代替として、追跡されるオブジェクトが画像（たとえば、フレーム）中で欠落しているとき、および／または追跡が失われたとき、ズームコントローラ３２０は、元の視野に平滑に戻ることができる。ズームコントローラ３２０は、クロップされた画像３３２（たとえば、クロップされたフレーム）を生じ得る。たとえば、ズームコントローラ３２０は、ズーム領域に従って入力画像３３０をクロップならびに／またはスケーリングする（および／もしくは別の要素を、クロップおよび／もしくはスケーリングするように制御する）ことができる。たとえば、ズームコントローラ３２０は、ズーム領域の外にあるどの画像内容もクロップおよび／または破棄してよい。いくつかの構成では、ズームコントローラ３２０は、クロップされた画像３３２を特定のサイズ（たとえば、ディスプレイのサイズ、ディスプレイ上のウィンドウのサイズなど）にスケーリングすることができる。

[0080]図４は、ズーム領域を決定する例を示す図である。具体的には、図４は、前フレーム４３４（たとえば、Ｆｒａｍｅ₀）と現在フレーム４３６（たとえば、Ｆｒａｍｅ₁）とを示す。図４に示されるように、グローバル動き４３８（たとえば、前フレーム４３４と現在フレーム４３６との間のグローバル動きｇ_n）がフレームの間で起こり得る。たとえば、グローバル動き４３８は、（たとえば、スマートフォンを携えているユーザの手の移動からの）カメラの移動に起因し得る。図４はまた、前フレームズーム領域４４０と現在フレームズーム領域４４２（たとえば、更新されたズーム領域）とを示す。前フレームズーム領域４４０は、前フレーム追跡領域４４４（たとえば、ＲＯＩ、境界ボックスなど）を含み得る。現在フレームズーム領域４４２は、現在フレーム追跡領域４４６を含み得る。

[0081]図４において、ｘ_iは、ズーム領域のズーム領域アンカーポイント（たとえば、中心）ロケーションであり、ｔ_iは、追跡（たとえば、追跡領域）の追跡領域アンカーポイント（たとえば、中心）ロケーションであり、未知のパラメータがｘ_n（たとえば、現在の画像またはフレーム向けのズーム領域アンカーポイント）であり、ここで、ｉはフレームインデックスであり、ｎは現在フレーム番号である。ズーム領域中のどのポイント（たとえば、アンカーポイント）も、距離を測定するための参照として使用されてよいことに留意されたい。中心ポイントまたはロケーションは、アンカーポイントの一例であり得る。追加または代替として、ｔ_iは、いくつかの構成では、追跡領域の中心以外の、追跡領域中のポイントであり得る。ズーム領域中の追跡されるオブジェクトをキャプチャするために、追跡中心およびズームされた領域のアンカーポイントの距離と、その変化レートとを記述するｖ（ｘ）が公式化され得る。いくつかの構成では、ｖ（ｘ）は、式（１）で与えられるように表され得る。

[0082]ズームされた領域を安定させるために、ズーム領域の動き速度と加速度とを記述するｈ（ｘ）を公式化することが有益であり得る。いくつかの構成では、ｈ（ｘ）は、式（２）で与えられるように表され得る。グローバル動きｇ_nは、１つまたは複数の次元（たとえば、水平および垂直動き）によって表され得ることに留意されたい。

[0083]ズーム領域は、関数ｆを最小化するアンカーポイントｘ_nを有し得る。いくつかの構成では、ｆは、式（３）で与えられるように表され得る。

[0084]４つの係数ａ₀、ａ₁、ｂ₀、およびｂ₁は、ズームされた領域がどのように振る舞うかを制御し得る。たとえば、係数は、オブジェクトの動きへの高速応答（たとえば、応答速度）を、ズーム領域をより静的に保つための高慣性状態と交換するように選択され得る。いくつかの構成では、ａ₀＋ａ₁＋ｂ₀＋ｂ₁＝１である。より大きいａ値は、ズーム領域動き応答速度を増大することができ（および、たとえばジッタを増大することができ）、より大きいｂ値は、ズーム領域動き応答速度を低下する（たとえば、平滑性を増大する）ことができる。いくつかの手法では、電子デバイス１０２は、オブジェクトがズーム領域（たとえば、クロップされたボックス）中のどこにあるかに依存して、応答速度を決定することができる（たとえば、係数を選択することができる）。ズーム領域動き応答速度は、追跡される領域に相対した、ズーム領域の並進（たとえば、垂直および／または水平移動、ｘ−ｙ移動など）を指し得る。たとえば、高いズーム領域動き応答速度が、追跡される領域を密接に追うことになり、低いズーム領域動き応答速度は、追跡される領域に遅れることになる（ただし、たとえば、平滑な動きを呈することになる）。オブジェクトがズーム領域内のどこにあるかによっては、異なる挙動が有益であり得る。

[0085]図５は、２つのゾーンを用いる２状態手法の例を示す。具体的には、図５は、フレーム５３６と、ズーム領域５４０と、追跡領域５４６とを示す。この２状態手法では、ズーム領域動き応答速度は、ズーム領域５４０（たとえば、クロップされた領域）中のオブジェクト（たとえば、追跡領域５４６）のロケーションに基づいて異なり得る。たとえば、係数ａ_iおよびｂ_iは、ズーム領域５４０の状態に基づいて（たとえば、ズーム領域５４０に相対した、追跡領域５４６のロケーションに基づいて）決定され得る。追跡されるオブジェクトがズーム領域５４０の低速応答ゾーン５４８（たとえば、中心エリアを含み得る高慣性ゾーン）内にある（たとえば、その中で移動する）とき、あの、その全体的シーンがより安定するように（たとえば、ズーム領域５４０が追跡領域５４６の動きにゆっくり応答するように）、さらなる重みが重みｂ_iに与えられる。

[0086]追跡されるオブジェクト（たとえば、追跡領域５４６）がズーム領域５４０の高速応答ゾーン中にある（たとえば、低速応答ゾーン５４８の外に、部分的または完全に移動する）とき、ズーム領域５４０が、関心オブジェクト（たとえば、追跡領域５４６）を素早く追い、オブジェクトを低速応答ゾーン５４８（たとえば、中心ゾーン）に返すことができるように、さらなる重みが重みａ_iに与えられる。２状態手法は、オブジェクトが低速応答ゾーン５４８内で移動する（たとえば、小さい、繰り返す動きを有する）とき、ズーム領域５４０（たとえば、クロップされたフレーム）がジッタリングしないことを確実にし得る。

[0087]図６は、遷移ゾーンＡ〜Ｃ６５２ａ〜ｃの例を示す図である。追跡が、異なる応答ゾーン（たとえば、領域）の中に入り、外に出るときにジッタリングをさらに回避するために、複数のゾーンが使用され得る。図６に示されるように、ズーム領域Ａ６４０ａは、３つのゾーン、すなわち、低速応答ゾーンＡ６４８ａ（または内部ゾーン）と、低速応答ゾーンＡ６４８ａの周りの遷移ゾーンＡ６５２ａ（または中間ゾーン）と、高速応答ゾーンＡ６５０ａ（または外部領域）とを含む。ズーム領域Ｂ６４０ｂに示されるように、前の状態が、高速応答ゾーンＢ６５０ｂに対応する高速応答状態、（たとえば、追跡されるオブジェクトが、たとえば、高速応答ゾーンＢ６５０ｂ中にあったフォロー状態）であるとき、追跡されるオブジェクト（たとえば、追跡領域Ｂ６４６ｂ）は、低速応答状態に変わるために、低速応答ゾーンＢ６４８ｂ（または、たとえば内部領域もしくは高慣性ゾーン）に到達しなければならない場合がある。たとえば、追跡領域Ｂ６４６ｂは、低速応答状態に変わるために、遷移ゾーンＢ６５２ｂを超えなければならない場合がある。ズーム領域Ｃ６４０ｃに示されるように、追跡されるオブジェクト（たとえば、追跡領域Ｃ６４６ｃ）は、追従するために遷移ゾーンＣの外に出なければ（たとえば、高速応答ゾーンＣ６５０ｃに入らなければ）ならない場合がある。たとえば、ズーム領域動き速度（たとえば、状態）は、追跡領域６４６が遷移ゾーンを出る（または、たとえば超える）まで変わらない場合がある。これは、ジッタ（たとえば、状態の間の素早い切替え）を回避するのを助け得る。

[0088]図７は、フレーム境界線バッファリングゾーン７５４の例を示す図である。フレーム境界線バッファリングゾーン７５４は、グローバル動きを補償するためのいくつかの手法において使用され得る。図７において、最も外側のボックスは、フレーム７３６（たとえば、全視野のフレーム）を表す。フレーム境界線バッファリングゾーン７５４は、フレーム７３６内の外周に示される。フレーム境界線バッファリングゾーン７５４は、安定化を強化するのに使用され得る。ズーム領域７４０（たとえば、クロップされた領域）がフレームバッファリングゾーン７５４に入ったとき、グローバル動きは、オブジェクトが境界（たとえば、フレーム端）に向かって移動する場合に補償されるだけでよい。このようにして、ジッタが削減され得る。たとえば、ズームコントローラ１２０は、ズーム領域動きを決定するためにグローバル動きを補償することができる。いくつかの構成では、ズームコントローラ１２０は、式（４）に従ってグローバル動き補償を実施し得る。

たとえば、式（４）は、式（２）の一部分（たとえば、前半）のみが適用されるときの解を示す。たとえば、ズーム領域がフレーム境界線バッファリングゾーン７５４に入り、オブジェクトが境界に向かって移動している（たとえば、追跡領域が、フレーム境界に向かう軌道を有する）場合、式（１）および（２）の代わりに、式（４）が適用され得る。

[0089]図８は、ズームレベル（たとえば、ズーム率、スケーリング、倍率など）を制御するための手法の例を示す。ターゲットズームレベルは、追跡領域８４６（たとえば、ＲＯＩ、追跡ボックス、境界領域、境界ボックスなど）とズーム領域８４０（たとえば、クロッピング領域）との間のサイズ比に基づいて決定され得る。図８において、最も小さい矩形は追跡領域８４６（たとえば、ＲＯＩ、追跡ボックスなど）を表し、外側の（たとえば、最も大きい）矩形はズーム領域８４０（たとえば、クロッピングボックス）を表す。いくつかの構成では、追跡領域８４６とズーム領域８４０との間のサイズ比は、幅と高さとの比の最大であり得る。他のサイズ比が使用されてもよい。サイズ比がズームイン領域８５８（たとえば、最小ズーム閾）よりも小さい場合、ズームレベルは増大し得る。そうではなく、サイズ比がズームなし領域８６０（たとえば、最大ズーム閾）よりも大きいか、または、たとえばズームアウト領域８５６内にある場合、ズームレベルは低下し得る。最小ズーム閾と最大ズーム閾との間には、一定の範囲があってよい。この手法は、安定性を強化することができ、および／またはジッタを回避することができる。

[0090]いくつかの構成では、ズームレベルＺは、ある範囲（たとえば、［１，ｍａｘ＿ｌｅｖｅｌ］）によって境界され得る。ズーミングレベルＺは、基準のセットに基づいて決定され得る。たとえば、現在フレームが、オブジェクトを追跡し、領域サイズを提供するとき、現在フレームに先立って、一定の数（たとえば、一定の時間期間）のズーミングレベルを記録するために、ズーミングレベル履歴テーブルＨがセットアップされ得る。前のＮ個のフレームのズームレベルが小さくなっておらず、Ｚが前のズームレベルＺ_t-1よりも大きい場合、現在のズームレベルはＺ_t＝ｍｉｎ（Ｚ_t-1＋１，ｍａｘ＿ｌｅｖｅｌ）であってよく、逆もまた同様である。履歴テーブルは、ズームレベルが劇的に変わって（そうすることによって、不快な視覚効果を生じて）いないことを保証し得る。

[0091]現在フレームがオブジェクトを追跡できなくなると、現在の比は、いくつかのフレーム（たとえば、５つのフレーム）について保持されてよく、および／または次いで、全体の視野が示されるまで、平滑にズームアウトしてよい。追加または代替として、追跡できなくなると、シーンは、ズームアウト手順に沿って、ズームされた領域のアンカーポイントを固定することによって安定し得る。

[0092]図９は、自動ズームを実施するための方法９００の一構成を示す流れ図である。方法９００は、たとえば、図１に関して説明した電子デバイス１０２によって実施され得る。

[0093]電子デバイス１０２は、９０２において、１つまたは複数の次の画像を取得し得る。たとえば、電子デバイス１０２は、すでに取得された前の画像に後続する画像を取得し得る。これは、図１〜図２のうちの１つまたは複数に関して説明したように遂行され得る。

[0094]電子デバイス１０２は、９０４において、グローバル動き情報を取得し得る。これは、図１〜図２のうちの１つまたは複数に関して説明したように遂行され得る。

[0095]電子デバイスは、９０６において、オブジェクト追跡情報を取得し得る。これは、図１〜図２のうちの１つまたは複数に関して説明したように遂行され得る。

[0096]電子デバイス１０２は、９０８において、ズーム領域内の追跡されるオブジェクトのロケーションに基づいてズーム領域動き応答速度を決定することができる。これは、図１〜図６のうちの１つまたは複数に関して説明したように遂行され得る。

[0097]電子デバイス１０２は、９１０において、ズーム領域がフレーム境界線バッファゾーンに入ったかどうかと、追跡されるオブジェクトが画像境界に向かって移動しているかどうかとを決定することができる。これは、図１〜図２および図７のうちの１つまたは複数に関して説明したように遂行され得る。

[0098]ズーム領域がフレーム境界線バッファゾーンに入り、追跡されるオブジェクトが画像境界（たとえば、フレーム境界、視野境界など）に向かって移動している場合、電子デバイス１０２は、９１２において、グローバル動きを補償すればよい。これは、図１〜図２および図７のうちの１つまたは複数に関して説明したように遂行され得る。たとえば、電子デバイス１０２は、（たとえば、式（１）および／または式（２）の代わりに）式（４）を適用すればよい。

[0099]ズーム領域がフレーム境界線バッファゾーンに入っていないか、または追跡されるオブジェクトが画像境界に向かって移動していない場合、電子デバイス１０２は、９１４において、グローバル動き情報および追跡されるオブジェクトとズーム領域アンカーポイントとの間の距離に基づいてズーム領域動きを決定することができる。これは、図１〜図２および図７のうちの１つまたは複数に関して説明したように遂行され得る。たとえば、電子デバイス１０２は、式（１）、式（２）、および／または式（３）を適用すればよい。

[00100]電子デバイス１０２は、９１６において、追跡領域とズーム領域とのサイズ比が最小ズーム閾未満であるかどうか決定することができる。これは、図１〜図２および図８のうちの１つまたは複数に関して説明したように遂行され得る。サイズ比が最小ズーム閾未満である場合、電子デバイス１０２は、９１８において、ズームを増大して（例として、たとえば、ズーム率を増大し、倍率を増大し、ズーム領域における画像内容をスケールアップするなどして）よい。これは、図１〜図２および図８のうちの１つまたは複数に関して説明したように遂行され得る。

[00101]サイズ比が最小ズーム閾未満でない場合、電子デバイスは、９２０において、追跡領域とズーム領域とのサイズ比が最大ズーム閾よりも大きいかどうか決定すればよい。これは、図１〜図２および図８のうちの１つまたは複数に関して説明したように遂行され得る。サイズ比が最大ズーム閾よりも大きい場合、電子デバイスは、９２２において、ズームを低下して（例として、たとえば、ズーム率を低下し、倍率を低下し、ズーム領域における画像内容をスケールダウンするなどして）よい。方法９００は、１つまたは複数の後のフレームに対して繰り返し得る。

[00102]方法９００の動作（たとえば、ステップ）のうちの１つまたは複数は、いくつかの構成では任意選択であって（たとえば、実装されなくて）よいことに留意されたい。追加または代替として、方法９００の動作（たとえば、ステップ）のうちの１つまたは複数は、異なる順序で並べ替えられてよい。ズーム領域は、９１２においてグローバル動きを補償し、９１４においてズーム領域動きを決定し、９１８においてズームを増大し、および／または９２２においてズームを低下することによって更新され得ることにも留意されたい。他の場合には、更新されたズーム領域は、前フレームズーム領域と同じであり得る（たとえば、同じ場所に位置し、および／または同じズームを有し得る）。たとえば、更新されたズーム領域は、ズーム領域に変更が行われないとき、ズーム領域動きが０であるとき、および／または決定９１０、９１６、９２０が否定であるときなどに、同じであり得る。

[00103]図１０は、本明細書に開示されるシステムおよび方法の様々な構成を実装するように構成された電子デバイス１００２内に含まれ得るいくつかの構成要素を示す。電子デバイス１００２の例は、カメラ、ビデオカムコーダ、デジタルカメラ、セルラー電話、スマートフォン、コンピュータ（たとえば、デスクトップコンピュータ、ラップトップコンピュータなど）、タブレットデバイス、メディアプレーヤ、テレビ、車両、自動車、パーソナルカメラ、ウェアラブルカメラ、仮想現実デバイス（たとえば、ヘッドセット）、拡張現実デバイス（たとえば、ヘッドセット）、複合現実デバイス（たとえば、ヘッドセット）、アクションカメラ、監視カメラ、搭載カメラ、接続カメラ、ロボット、航空機、ドローン、無人航空機（ＵＡＶ）、スマートアプリケーション、ヘルスケア機器、ゲーム機、携帯情報端末（ＰＤＡ）、セットトップボックスなどを含み得る。電子デバイス１００２は、図１に関して説明した電子デバイス１０２に従って実装され得る。

[00104]電子デバイス１００２は、プロセッサ１００１を含む。プロセッサ１００１は、汎用シングルチップマイクロプロセッサまたはマルチチップマイクロプロセッサ（たとえば、ＡＲＭ）、専用マイクロプロセッサ（たとえば、デジタル信号プロセッサ（ＤＳＰ））、マイクロコントローラ、プログラマブルゲートアレイなどであり得る。プロセッサ１００１は、中央処理ユニット（ＣＰＵ）と呼ばれ得る。単一のプロセッサ１００１が電子デバイス１００２に示されているが、代替の構成では、プロセッサの組合せ（たとえば、ＡＲＭとＤＳＰ）が実装され得る。

[00105]電子デバイス１００２は、メモリ１０８０も含む。メモリ１０８０は、電子情報を記憶し得る任意の電子構成要素であり得る。メモリ１０８０は、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、磁気ディスク記憶媒体、光記憶媒体、ＲＡＭ中のフラッシュメモリデバイス、プロセッサ内に含まれるオンボードメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタなど、およびそれらの組合せとして実施され得る。

[00106]データ１０８４ａおよび命令１０８２ａが、メモリ１０８０内に記憶され得る。命令１０８２ａは、本明細書に記載する方法、手順、ステップ、および／または機能のうちの１つまたは複数を実装するように、プロセッサ１００１によって実行され得る。命令１０８２ａを実行することは、メモリ１０８０に記憶されたデータ１０８４ａの使用を伴い得る。プロセッサ１００１が命令１０８２を実行すると、命令１０８２ｂの様々な部分がプロセッサ１００１上にロードされてよく、および／または様々なデータ１０８４ｂがプロセッサ１００１上にロードされてよい。

[00107]電子デバイス１００２はまた、電子デバイス１００２への信号の送信、およびそこからの信号の受信を可能にするために、送信機１０９０および受信機１０９２を含み得る。送信機１０９０および受信機１０９２は、まとめてトランシーバ１０９４と呼ばれ得る。１つまたは複数のアンテナ１０８８ａ〜ｂが、トランシーバ１０９４に電気的に結合されてよい。電子デバイス１００２はまた、複数の送信機、複数の受信機、複数のトランシーバ、および／または追加のアンテナ（図示せず）を含み得る。

[00108]電子デバイス１００２はデジタル信号プロセッサ（ＤＳＰ）１０９６を含み得る。電子デバイス１００２は通信インターフェース１０９８も含み得る。通信インターフェース１０９８は、１つまたは複数の種類の入力および／または出力を許可し、および／または可能にすることができる。たとえば、通信インターフェース１０９８は、他のデバイスを電子デバイス１００２にリンクするための１つまたは複数のポートおよび／または通信デバイスを含み得る。いくつかの構成では、通信インターフェース１０９８は、送信機１０９０、受信機１０９２、またはその両方（たとえば、トランシーバ１０９４）を含み得る。追加または代替として、通信インターフェース１０９８は、１つまたは複数の他のインターフェース（たとえば、タッチスクリーン、キーパッド、キーボード、マイクロフォン、カメラなど）を含み得る。たとえば、通信インターフェース１０９８は、ユーザが電子デバイス１００２と対話することを可能にし得る。

[00109]電子デバイス１００２の様々な構成要素は、電力バス、制御信号バス、ステータス信号バス、データバスなどを含み得る、１つまたは複数のバスによって一緒に結合され得る。明快のために、様々なバスがバスシステム１０８６として図１０に示される。

[00110]「決定すること」という用語は、様々な行為を包含し、したがって、「決定すること」は、計算すること、算出すること、処理すること、導出すること、調査すること、ルックアップすること（たとえば、テーブル、データベース、または別のデータ構造内でルックアップすること）、確認することなどを含み得る。また、「決定すること」は、受信すること（たとえば、情報を受信すること）、アクセスすること（たとえば、メモリ中のデータにアクセスすること）などを含むことができる。また、「決定すること」は、解決すること、選択すること、選定すること、確立することなどを含むことができる。

[00111]「に基づいて」という句は、別段に明示されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という句は、「のみに基づいて」と「に少なくとも基づいて」の両方を表す。

[00112]「プロセッサ」という用語は、汎用プロセッサ、中央処理ユニット（ＣＰＵ）、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、コントローラ、マイクロコントローラ、状態機械などを包含するものと広く解釈されたい。いくつかの状況下では、「プロセッサ」は、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル論理デバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などを指す場合がある。「プロセッサ」という用語は、処理デバイスの組合せ、たとえば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つもしくは複数のマイクロプロセッサ、または任意の他のそのような構成を指し得る。

[00113]「メモリ」という用語は、電子情報を記憶することが可能な任意の電子構成要素を包含するように広く解釈されるべきである。メモリという用語は、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、プログラマブル読取り専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、フラッシュメモリ、磁気または光学データストレージ、レジスタなどのような、様々なタイプのプロセッサ可読媒体を指し得る。プロセッサがメモリから情報を読み取り、および／または情報をメモリに書き込むことができる場合、メモリはプロセッサと電子通信していると言われる。プロセッサに一体化されたメモリは、プロセッサと電子通信している。

[00114]「命令」および「コード」という用語は、任意のタイプのコンピュータ可読ステートメントを含むように広く解釈されるべきである。たとえば、「命令」および「コード」という用語は、１つまたは複数のプログラム、ルーチン、サブルーチン、関数、手順などを指す場合がある。「命令」および「コード」は、単一のコンピュータ可読ステートメントまたは多くのコンピュータ可読ステートメントを備えることができる。

[00115]本明細書で説明された機能は、ハードウェアによって実行されるソフトウェアまたはファームウェアで実装され得る。機能は、コンピュータ可読媒体上に１つまたは複数の命令として記憶され得る。「コンピュータ可読媒体」または「コンピュータプログラム製品」という用語は、コンピュータまたはプロセッサによってアクセスされ得る任意の有形記憶媒体を指す。例として、限定はしないが、コンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気記憶デバイス、または命令もしくはデータ構造の形で所望のプログラムコードを担持または記憶するために使用されることが可能であり、コンピュータによってアクセスされることが可能である任意の他の媒体を含み得る。本明細書で使用されるディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）、およびＢｌｕ−ｒａｙ（登録商標）ディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。コンピュータ可読媒体は、有形であり、非一時的であり得ることに留意されたい。「コンピュータプログラム製品」という用語は、コンピューティングデバイスもしくはプロセッサによって実行、処理または計算され得る、コードまたは命令（たとえば、「プログラム」）と組み合わされた、コンピューティングデバイスまたはプロセッサを指す。本明細書で使用される場合、「コード」という用語は、コンピューティングデバイスまたはプロセッサによって実行可能であるソフトウェア、命令、コードまたはデータを指し得る。

[00116]ソフトウェアまたは命令はまた、送信媒体を介して送信され得る。たとえば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、伝送媒体の定義に含まれる。

[00117]本明細書で開示した方法は、説明した方法を達成するための１つまたは複数のステップまたはアクションを備える。本方法のステップおよび／またはアクションは、特許請求の範囲から逸脱することなく、互いに交換され得る。言い換えれば、説明した方法の適切な動作のためにステップまたはアクションの特定の順序が必要とされない限り、特定のステップおよび／またはアクションの順序および／または使用は、特許請求の範囲を逸脱することなく修正され得る。

[00118]さらに、本明細書に記載の方法および技法を実施するためのモジュールおよび／または他の適切な手段は、デバイスによってダウンロードされ、および／または他の方法で取得され得ることを諒解されたい。たとえば、デバイスは、本明細書で説明した方法を実施するための手段の転送を可能にするために、サーバに結合され得る。代替的に、本明細書で説明した様々な方法は、デバイスが、記憶手段をそのデバイスに結合するかまたは与えると様々な方法を取得し得るように、記憶手段（たとえば、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、コンパクトディスク（ＣＤ）またはフロッピーディスクなどの物理記憶媒体など）によって与えられ得る。

[00119]特許請求の範囲は、上記で示した厳密な構成および構成要素に限定されないことを理解されたい。特許請求の範囲から逸脱することなく、本明細書で説明されたシステム、方法、および装置の構成、動作および詳細において、様々な修正、変更および変形が行われ得る。
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
プロセッサを備える電子デバイスであって、前記プロセッサは、
複数の画像を取得することと、
前記複数の画像のうちの少なくとも２つの間のグローバル動きを示すグローバル動き情報を取得することと、
前記複数の画像のうちの前記少なくとも２つの間の、追跡されるオブジェクトの動きを示すオブジェクト追跡情報を取得することと、
前記グローバル動き情報および前記オブジェクト追跡情報に基づいて自動ズームを実施することと、ここにおいて、自動ズームを実施することは、前記追跡されるオブジェクトを含むズーム領域を生じ、前記プロセッサは、前記ズーム領域内の前記追跡されるオブジェクトのロケーションに基づいて、前記ズーム領域向けの動き応答速度を決定するように構成される、を行うように構成される、電子デバイス。
［Ｃ２］
前記プロセッサは、カメラ入力の全視野に基づいてオブジェクト追跡を実施するように構成される、Ｃ１に記載の電子デバイス。
［Ｃ３］
前記プロセッサは、前記グローバル動き情報および追跡されるオブジェクトと前記ズーム領域のアンカーポイントとの間の距離に基づいてズーム領域動きを決定するように構成される、Ｃ１に記載の電子デバイス。
［Ｃ４］
前記プロセッサは、前記ズーム領域が境界線バッファゾーンに入り、追跡されるオブジェクトが画像境界に向かって移動している場合には、グローバル動きを補償するように構成される、Ｃ１に記載の電子デバイス。
［Ｃ５］
前記プロセッサは、前記ズーム領域中の少なくとも２つのゾーンに基づいて、前記ズーム領域向けの前記動き応答速度を決定するように構成される、Ｃ１に記載の電子デバイス。
［Ｃ６］
前記プロセッサは、追跡領域と前記ズーム領域とのサイズ比が最小ズーム閾未満である場合にはズームを増大するように構成される、Ｃ１に記載の電子デバイス。
［Ｃ７］
前記プロセッサは、前記サイズ比が最大ズーム閾よりも大きい場合にはズームを低下するように構成される、Ｃ６に記載の電子デバイス。
［Ｃ８］
前記最小ズーム閾と前記最大ズーム閾との間には一定の範囲がある、Ｃ７に記載の電子デバイス。
［Ｃ９］
前記プロセッサは、履歴テーブルに基づいて前記自動ズームを実施するように構成される、Ｃ１に記載の電子デバイス。
［Ｃ１０］
前記プロセッサは、オブジェクトの動きに基づいて、ズームレベルをフレームごとに調節するように構成される、Ｃ１に記載の電子デバイス。
［Ｃ１１］
複数の画像を取得することと、
前記複数の画像のうちの少なくとも２つの間のグローバル動きを示すグローバル動き情報を取得することと、
前記複数の画像のうちの前記少なくとも２つの間の、追跡されるオブジェクトの動きを示すオブジェクト追跡情報を取得することと、
前記グローバル動き情報および前記オブジェクト追跡情報に基づいて自動ズームを実施することと、ここにおいて、自動ズームを実施することは、前記追跡されるオブジェクトを含むズーム領域を生じ、自動ズームを実施することは、前記ズーム領域内の追跡されるオブジェクトのロケーションに基づいて、前記ズーム領域向けの動き応答速度を決定することを備える、を備える方法。
［Ｃ１２］
カメラ入力の全視野に基づいてオブジェクト追跡を実施することをさらに備える、Ｃ１１に記載の方法。
［Ｃ１３］
前記グローバル動き情報および追跡されるオブジェクトと前記ズーム領域のアンカーポイントとの間の距離に基づいてズーム領域動きを決定することをさらに備える、Ｃ１１に記載の方法。
［Ｃ１４］
前記ズーム領域が境界線バッファゾーンに入り、追跡されるオブジェクトが画像境界に向かって移動している場合には、グローバル動きを補償することをさらに備える、Ｃ１１に記載の方法。
［Ｃ１５］
前記ズーム領域向けの前記動き応答速度を決定することは、前記ズーム領域中の少なくとも２つのゾーンに基づく、Ｃ１１に記載の方法。
［Ｃ１６］
追跡領域と前記ズーム領域とのサイズ比が最小ズーム閾未満である場合にはズームを増大することをさらに備える、Ｃ１１に記載の方法。
［Ｃ１７］
前記サイズ比が最大ズーム閾よりも大きい場合にはズームを低下することをさらに備える、Ｃ１６に記載の方法。
［Ｃ１８］
前記最小ズーム閾と前記最大ズーム閾との間には一定の範囲がある、Ｃ１７に記載の方法。
［Ｃ１９］
前記自動ズームを実施することは履歴テーブルに基づく、Ｃ１１に記載の方法。
［Ｃ２０］
オブジェクトの動きに基づいて、ズームレベルをフレームごとに調節することをさらに備える、Ｃ１１に記載の方法。
［Ｃ２１］
命令を有する非一時的有形コンピュータ可読媒体を備えるコンピュータプログラム製品であって、前記命令は、
電子デバイスに、複数の画像を取得させるためのコードと、
前記電子デバイスに、前記複数の画像のうちの少なくとも２つの間のグローバル動きを示すグローバル動き情報を取得させるためのコードと、
前記電子デバイスに、前記複数の画像のうちの前記少なくとも２つの間の、追跡されるオブジェクトの動きを示すオブジェクト追跡情報を取得させるためのコードと、
前記電子デバイスに、前記グローバル動き情報および前記オブジェクト追跡情報に基づいて自動ズームを実施させるためのコードと、ここにおいて、自動ズームを実施することは、前記追跡されるオブジェクトを含むズーム領域を生じ、前記電子デバイスに、自動ズームを実施させるための前記コードは、前記電子デバイスに、前記ズーム領域内の前記追跡されるオブジェクトのロケーションに基づいて、前記ズーム領域向けの動き応答速度を決定させるためのコードを備える、を備える、コンピュータプログラム製品。
［Ｃ２２］
前記電子デバイスに、カメラ入力の全視野に基づいてオブジェクト追跡を実施させるためのコードをさらに備える、Ｃ２１に記載のコンピュータプログラム製品。
［Ｃ２３］
前記電子デバイスに、前記グローバル動き情報および追跡されるオブジェクトと前記ズーム領域のアンカーポイントとの間の距離に基づいてズーム領域動きを決定させるためのコードをさらに備える、Ｃ２１に記載のコンピュータプログラム製品。
［Ｃ２４］
前記電子デバイスに、前記ズーム領域向けの前記動き応答速度を決定させるための前記コードは、前記ズーム領域中の少なくとも２つのゾーンに基づく、Ｃ２１に記載のコンピュータプログラム製品。
［Ｃ２５］
前記電子デバイスに、追跡領域と前記ズーム領域とのサイズ比が最小ズーム閾未満である場合にはズームを増大させるためのコードをさらに備える、Ｃ２１に記載のコンピュータプログラム製品。
［Ｃ２６］
複数の画像を取得するための手段と、
前記複数の画像のうちの少なくとも２つの間のグローバル動きを示すグローバル動き情報を取得するための手段と、
前記複数の画像のうちの前記少なくとも２つの間の、追跡されるオブジェクトの動きを示すオブジェクト追跡情報を取得するための手段と、
前記グローバル動き情報および前記オブジェクト追跡情報に基づいて自動ズームを実施するための手段と、ここにおいて、自動ズームを実施することは、前記追跡されるオブジェクトを含むズーム領域を生じ、自動ズームを実施するための前記手段は、前記ズーム領域内の前記追跡されるオブジェクトのロケーションに基づいて、前記ズーム領域向けの動き応答速度を決定するための手段を備える、を備える装置。
［Ｃ２７］
カメラ入力の全視野に基づいてオブジェクト追跡を実施するための手段をさらに備える、Ｃ２６に記載の装置。
［Ｃ２８］
前記グローバル動き情報および追跡されるオブジェクトと前記ズーム領域のアンカーポイントとの間の距離に基づいてズーム領域動きを決定するための手段をさらに備える、Ｃ２６に記載の装置。
［Ｃ２９］
前記ズーム領域向けの前記動き応答速度を決定するための前記手段は、前記ズーム領域中の少なくとも２つのゾーンに基づく、Ｃ２６に記載の装置。
［Ｃ３０］
追跡領域と前記ズーム領域とのサイズ比が最小ズーム閾未満である場合にはズームを増大するための手段をさらに備える、Ｃ２６に記載の装置。

Claims (30)

1. プロセッサを備える電子デバイスであって、前記プロセッサは、
   複数の画像を取得することと、
   前記複数の画像のうちの少なくとも２つの間のグローバル動きを決定することと、
   カメラ入力の全視野に基づいて、前記複数の画像のうちの前記少なくとも２つの間の、追跡されるオブジェクトの動きを決定することと、
   前記グローバル動きおよび前記追跡されるオブジェクトの前記動きに基づいて、前記追跡されるオブジェクトを含むデジタルズーム領域を決定することと、ここにおいて、前記デジタルズーム領域は、前記カメラ入力の前記全視野の下位領域である、
   提示のために、ディスプレイに前記デジタルズーム領域を提供することと、
   を行うように構成される、電子デバイス。
2. 前記プロセッサは、前記デジタルズーム領域内の前記追跡されるオブジェクトのロケーションに基づいて前記デジタルズーム領域の並進速度を決定するように構成される、請求項１に記載の電子デバイス。
3. 前記プロセッサは、前記グローバル動き情報および追跡されるオブジェクトと前記デジタルズーム領域のアンカーポイントとの間の距離に基づいて前記デジタルズーム領域の動きを決定するように構成される、請求項１に記載の電子デバイス。
4. 前記プロセッサは、前記デジタルズーム領域が境界線バッファゾーンに入り、追跡されるオブジェクトが画像境界に向かって移動している場合には、グローバル動きを補償するように構成される、請求項１に記載の電子デバイス。
5. 前記プロセッサは、前記デジタルズーム領域中の少なくとも２つのゾーンに基づいて、前記デジタルズーム領域の並進速度を決定するように構成される、請求項１に記載の電子デバイス。
6. 前記プロセッサは、追跡領域と前記デジタルズーム領域とのサイズ比が最小ズーム閾未満である場合にはズームを増大するように構成される、請求項１に記載の電子デバイス。
7. 前記プロセッサは、前記サイズ比が最大ズーム閾よりも大きい場合にはズームを低下するように構成される、請求項６に記載の電子デバイス。
8. 前記最小ズーム閾と前記最大ズーム閾との間には一定の範囲がある、請求項７に記載の電子デバイス。
9. 前記プロセッサは、履歴テーブルにさらに基づいて前記デジタルズーム領域を決定するように構成される、請求項１に記載の電子デバイス。
10. 前記プロセッサは、前記全視野でのオブジェクトの動きに基づいて、ズームレベルをフレームごとに調節するように構成される、請求項１に記載の電子デバイス。
11. 複数の画像を取得することと、
    前記複数の画像のうちの少なくとも２つの間のグローバル動きを決定することと、
    カメラ入力の全視野に基づいて、前記複数の画像のうちの前記少なくとも２つの間の、追跡されるオブジェクトの動きを決定することと、
    前記グローバル動きおよび前記追跡されるオブジェクトの前記動きに基づいて、前記追跡されるオブジェクトを含むデジタルズーム領域を決定することと、ここにおいて、前記デジタルズーム領域は、前記カメラ入力の前記全視野の下位領域である、
    提示のために、ディスプレイに前記デジタルズーム領域を提供することと、
    を備える方法。
12. 前記デジタルズーム領域内の前記追跡されるオブジェクトのロケーションに基づいて前記デジタルズーム領域の並進速度を決定することをさらに備える、請求項１１に記載の方法。
13. 前記グローバル動き情報および追跡されるオブジェクトと前記デジタルズーム領域のアンカーポイントとの間の距離に基づいて前記デジタルズーム領域の動きを決定することをさらに備える、請求項１１に記載の方法。
14. 前記デジタルズーム領域が境界線バッファゾーンに入り、追跡されるオブジェクトが画像境界に向かって移動している場合には、グローバル動きを補償することをさらに備える、請求項１１に記載の方法。
15. 前記デジタルズーム領域の並進速度を決定することは、前記デジタルズーム領域中の少なくとも２つのゾーンに基づく、請求項１１に記載の方法。
16. 追跡領域と前記デジタルズーム領域とのサイズ比が最小ズーム閾未満である場合にはズームを増大することをさらに備える、請求項１１に記載の方法。
17. 前記サイズ比が最大ズーム閾よりも大きい場合にはズームを低下することをさらに備える、請求項１６に記載の方法。
18. 前記最小ズーム閾と前記最大ズーム閾との間には一定の範囲がある、請求項１７に記載の方法。
19. 前記デジタルズーム領域を決定することは履歴テーブルにさらに基づく、請求項１１に記載の方法。
20. 前記全視野でのオブジェクトの動きに基づいて、ズームレベルをフレームごとに調節することをさらに備える、請求項１１に記載の方法。
21. プロセッサによって実行可能な命令を備えるコンピュータプログラムであって、前記命令は、
    電子デバイスに、複数の画像を取得させるためのコードと、
    前記電子デバイスに、前記複数の画像のうちの少なくとも２つの間のグローバル動きを決定させるためのコードと、
    前記電子デバイスに、カメラ入力の全視野に基づいて、前記複数の画像のうちの前記少なくとも２つの間の、追跡されるオブジェクトの動きを決定させるためのコードと、
    前記電子デバイスに、前記グローバル動きおよび前記追跡されるオブジェクトの前記動きに基づいて、前記追跡されるオブジェクトを含むデジタルズーム領域を決定させるためのコードと、ここにおいて、前記デジタルズーム領域は、前記カメラ入力の前記全視野の下位領域である、
    前記電子デバイスに、提示のために、ディスプレイに前記デジタルズーム領域を提供させるためのコードと、
    を備える、コンピュータプログラム。
22. 前記電子デバイスに、前記デジタルズーム領域内の前記追跡されるオブジェクトのロケーションに基づいて前記デジタルズーム領域の並進速度を決定させるためのコードをさらに備える、請求項２１に記載のコンピュータプログラム。
23. 前記電子デバイスに、前記グローバル動き情報および追跡されるオブジェクトと前記デジタルズーム領域のアンカーポイントとの間の距離に基づいて前記デジタルズーム領域の動きを決定させるためのコードをさらに備える、請求項２１に記載のコンピュータプログラム。
24. 前記電子デバイスに、前記デジタルズーム領域の並進速度を決定させるための前記コードは、前記デジタルズーム領域中の少なくとも２つのゾーンに基づく、請求項２１に記載のコンピュータプログラム。
25. 前記電子デバイスに、追跡領域と前記デジタルズーム領域とのサイズ比が最小ズーム閾未満である場合にはズームを増大させるためのコードをさらに備える、請求項２１に記載のコンピュータプログラム。
26. 複数の画像を取得するための手段と、
    前記複数の画像のうちの少なくとも２つの間のグローバル動きを決定するための手段と、
    カメラ入力の全視野に基づいて、前記複数の画像のうちの前記少なくとも２つの間の、追跡されるオブジェクトの動きを決定するための手段と、
    前記グローバル動きおよび前記追跡されるオブジェクトの前記動きに基づいて、前記追跡されるオブジェクトを含むデジタルズーム領域を決定するための手段と、ここにおいて、前記デジタルズーム領域は、前記カメラ入力の前記全視野の下位領域である、
    提示のために、ディスプレイに前記デジタルズーム領域を提供するための手段と、
    を備える装置。
27. 前記デジタルズーム領域内の前記追跡されるオブジェクトのロケーションに基づいて前記デジタルズーム領域の並進速度を決定するための手段をさらに備える、請求項２６に記載の装置。
28. 前記グローバル動き情報および追跡されるオブジェクトと前記デジタルズーム領域のアンカーポイントとの間の距離に基づいて前記デジタルズーム領域の動きを決定するための手段をさらに備える、請求項２６に記載の装置。
29. 前記デジタルズーム領域中の少なくとも２つのゾーンに基づいて、前記デジタルズーム領域の並進速度を決定するための手段をさらに備える、請求項２６に記載の装置。
30. 追跡領域と前記デジタルズーム領域とのサイズ比が最小ズーム閾未満である場合にはズームを増大するための手段をさらに備える、請求項２６に記載の装置。