JP2023536674A - マルチカメラビデオ安定化 - Google Patents

Abstract

マルチカメラビデオ安定化のための、コンピュータ記憶媒体上に符号化されたコンピュータプログラムを含む、方法、システム、および装置。いくつかの実現例では、あるビデオキャプチャデバイスは、第１のカメラと第２のカメラとを有する。ビデオキャプチャデバイスは、ビデオ記録中に、あるデジタルズーム範囲内で、ユーザ指定の倍率変更を可能にする、デジタルズーム機能を提供する。ビデオキャプチャデバイスは、デジタルズーム範囲の異なる部分にわたって異なるカメラからのビデオデータを使用するよう構成される。ビデオキャプチャデバイスは、（ｉ）第２のカメラのための正準基準空間への第１の変換と、（ｉｉ）第１のカメラのための正準基準空間への第２の変換と、（ｉｉｉ）第１のカメラのための正準基準空間内の画像データに電子画像安定化を適用するための第３の変換とを含む変換のセットを適用することによって、第２のカメラを使用してキャプチャされた画像データを処理することができる。

Description

背景
スマートフォンなどの一部のデバイスは、複数のカメラモジュールを含む。これらのカメラは、静止画像またはビデオを記録するために使用され得る。多くの状況において、手振れおよびデバイスの他の動きは、キャプチャされた画像およびビデオの品質を低下させる可能性がある。その結果、一部のデバイスは、記録された画像データの品質を改善するために画像安定化機能を含む。

概要
いくつかの実現例では、あるデバイスは、マルチビューカメラシステム、例えば、異なる視野を有する複数のカメラモジュールを伴うデバイスを含む。このデバイスは、デバイスのカメラモジュールのうちの１つ以上を使用してキャプチャされたビデオのためにビデオ安定化を提供する。これは、異なるズーム（例えば、拡大または倍率）レベルで様々なレベルの画像安定化を提供することと、画像安定化挙動を異なるズームレベルおよび異なるカメラモジュールに対して一貫するように管理することとを含むことができる。カメラモジュールが固定視野を有する場合であっても、デバイスは、例えば、デジタルズーム技術を使用して視野の範囲に沿って連続的または滑らかなズームを実施または近似することによって、ズーム機能を提供することができる。デバイスは、ビデオ記録中に異なるカメラモジュールのビデオキャプチャ間で遷移するときを含むズーム設定の範囲にわたって一貫して安定化されたビデオをキャプチャするための特徴を提供することができる。いくつかの実現例では、デバイスは、ビデオ記録中に画像キャプチャのためにカメラ間をいつ遷移すべきかを検出する。デバイスは、遷移を実行し、キャプチャされたデータを処理して、遷移の期間にわたってシームレスな出力、例えば、視野、画像安定化、露出、焦点、ノイズなどのパラメータを維持または円滑に調整する出力ビデオを生成する。これにより、システムは、異なるカメラからの異なる部分のビデオを、ユーザにとって妨害的でないカメラ間の遷移を伴って、例えば、単眼視差、目に見えるスタッター、目に見えるズームの休止、または他のグリッチなしに用いるビデオを生成することが可能になる。

このシステムの主な目標は、ユーザに提示されるビデオシーンの円滑さを向上させることである。言い換えれば、このシステムは、シーンの時間的連続性（例えば、経時的な望ましくないカメラブレを低減すること）とシーンの空間的連続性（例えば、異なるカメラからキャプチャされたビデオ間の差を低減すること）との両方を達成しようと試みる。これは、２つの重要な技術、すなわち、（１）単一のカメラ上で経時的にシーンの連続性を提供して、ビデオフィード内に示されるシーンの時間的平滑化を効果的に提供する電子画像安定化（ＥＩＳ）、および（２）空間的平滑化方法を効果的に提供してカメラ間の遷移付近の混乱または中断を回避しながら異なるカメラ間でシーンの連続性を提供する、強化されたマルチカメラデジタルズーム（例えば、複数のカメラの出力を使用する漸次的、漸増的、または実質的に連続的なズーム）を伴う。

ＥＩＳおよびマルチカメラデジタルズームは、画像データを表現するために「正準」カメラ空間の使用を含む、以下でさらに論じる様々な技術および変換を使用することにより、効率的に組み合わせることができる。正準空間は、経時的に変化しない固定された固有特性を有する概念的なカメラのビューを表すことができる。例えば、正準空間は、光学画像安定化（ＯＩＳ）またはボイスコイルモータ（ＶＣＭ）位置およびローリングシャッタ効果等の要因によって影響されないものであり得る。

例として、あるデバイスは、あるシーンの異なる視野を提供する、第１のカメラおよび第２のカメラを含むことができる。本デバイスは、カメラモジュールのうちの１つ以上が固定された視野を有する場合であっても、ユーザが出力ビデオによって表されるズームまたは倍率を滑らかに変更することを可能にするズーム機能を可能にすることができる。いくつかの実現例では、固定焦点距離レンズを有する２つ以上のカメラモジュールを用いて、（１）あるズーム範囲の第１の部分に対して第１のカメラからの画像に基づくデジタルズーム（例えば、クロッピングおよび／または拡大）を使用し、（２）同ズーム範囲の第２の部分に対して第２のカメラからの画像に基づくデジタルズームを使用することによって、同範囲にわたって連続ズームをシミュレートすることができる。ビデオの全体的な品質を向上させるために、適用されるデジタルズームの現在のレベルに対して、画像安定化処理を動的に調整することができる。例えば、シミュレートされた連続ズーム範囲に沿ったズームの各変化は、画像安定化パラメータにおいて、対応する変化を有することができる。

デバイスによる画像処理は、ＥＩＳアプリケーションおよび焦点距離、露出などの他の画像キャプチャ態様の一貫性を維持しながら、異なるカメラからの画像キャプチャ間の遷移を管理して、実質的にシームレスな遷移を提供することができる。ズーム機能は、例えば、デバイスが第１のカメラによってキャプチャされた画像上でますますクロッピングするにつれて第１のカメラの出力を使用するデジタルズームを含むことができる。次いで、ズームの閾値レベルに達し、ズームインされるエリアが第２のカメラの視野内になると、デバイスは、第２のカメラを使用してキャプチャされるビデオを記録することに切り替わる。

記録されたビデオが異なるカメラの出力間で滑らかな遷移を提供するようにするために、デバイスは、一連の変換を使用して、第２のカメラの出力を第１のカメラの出力に関連付けることができる。これらの変換は、ホモグラフィ行列を使用して、または他の形態で実現されてもよい。いくつかの実現例では、変換は、第２のカメラからローリングシャッタ効果、ＯＩＳレンズの動き等のカメラ特有の時間依存寄与を除去することによって、第２のカメラからの画像を正準カメラ空間にマッピングすることを伴う。第２の変換は、第２のカメラの正準画像空間内の画像データを第１のカメラの正準画像空間に投影することができる。これは、第２のカメラの視野を第１のカメラの視野と整列させ、デバイス内のカメラ間の空間的差異（例えば、オフセット）を考慮することができる。次いで、電子画像安定化（ＥＩＳ）処理を、第１のカメラの正準画像空間内の画像データに適用することができる。この一連の変換は、例えば、ＥＩＳ処理された第２のカメラ画像データをＥＩＳ処理された第１のカメラ画像データと関連付けおよび整列させようとするよりもはるかに効率的な処理技術を提供する。ＥＩＳ処理は、画像が画像キャプチャ中に異なる視野、異なる固有特性などを有する異なるカメラを使用してキャプチャされているにもかかわらず、単一のカメラ空間または基準フレームにおいて実行され得る。次いで、第１のカメラの正準画像空間におけるＥＩＳ処理の出力は、（ローカルおよび／もしくはリモートで）ビデオファイルとして記憶するために提供することができ、ならびに／または（ローカルおよび／もしくはリモートで）表示のためにストリーミングすることができる。

これらの技術は、手振れおよび他の意図しないカメラの動きをより効果的に制御するために、現在のズームレベルに合わせて調整された画像安定化のレベルを適用することができる。加えて、ビデオキャプチャ中にカメラ間を滑らかに遷移させる能力は、中断的な遷移なしにビデオキャプチャの解像度を高めることができる。例えば、より広い視野を有するカメラの出力にデジタルズームがますます適用されるにつれて、解像度は低下する傾向がある。デジタルズームが増加するにつれて、結果として生じる出力画像は、画像センサのより小さい部分を表し、したがって、出力画像を生成するために画像センサのより少ない画素を使用する。第２のカメラは、より狭い視野を有するレンズを有することができ、より狭い視野が画像センサの全体でキャプチャされることを可能にする。出力フレームが第２のカメラの視野内に入る点までビデオがズームインされると、カメラは、ビデオキャプチャを、第２のカメラによってキャプチャされる画像データを使用することに遷移させることができる。したがって、ビデオファイルのキャプチャおよび記録を継続しながら、ＥＩＳが継続的かつ一貫して適用されている状態で、カメラは、実質的にシームレスな態様でビデオキャプチャのために異なるカメラを使用することを切り替えることができる。切り替えは、ユーザに対して透明にすることができ、したがって、カメラ間の切り替えは、キャプチャされたビデオ映像において、または任意選択的にユーザのためのユーザインタフェースにおいて、目立たない。

概して、ビデオキャプチャおよび関連する画像処理を実行するプロセスは、特に高解像度ビデオキャプチャの場合、計算的に高価であり得る。本明細書で論じられる技術は、他の技術の中でもとりわけ、両方のカメラの画像データを単一の共通基準空間にマッピングした後に同じタイプのＥＩＳ処理をその基準空間内の画像データに適用することによって、カメラモジュール間の画像安定化処理および遷移を管理するための計算効率的な技術を提供する。基準空間は、時間依存の影響が除去されたものであってもよく、これは、異なるカメラからの画像を整列させることおよびＥＩＳ処理を適用することのために必要とされる計算をさらに低減する。

いくつかの実現例では、本明細書で説明する技術は、電話、タブレットコンピュータ、および他のモバイルデバイスなど、電力予算が限られ、計算リソースが限られた電池式デバイス上で実現される。議論される処理は、デバイスによってバッテリ電力上で効率的に行われることができ、安定化処理を、実質的にリアルタイムで、進行中のビデオキャプチャと同時に、例えば、ビデオキャプチャが継続するにつれて、画像安定化処理されたビデオ出力が保存またはストリーミングされる状態で、実行する。また、以下で説明するように、本技術は、たとえば、焦点、露出などのためにカメラモジュール設定を調整するために、およびどのカメラモジュールが異なる時間に使用されるかを切り替えるために、カメラモジュールを使用するビデオのキャプチャを調整することができる。これらの技術はまた、追加のビデオがキャプチャされ続けている間にビデオがキャプチャされ、処理され、記録されるときにリアルタイムで実行され得るように、効率的に実行される。

１つの一般的な局面において、ある方法は、第１のカメラおよび第２のカメラを有するビデオキャプチャデバイスが、ビデオ記録中にデジタルズーム範囲内でユーザ指定の倍率変更を可能にするデジタルズーム機能を提供することを含み、ビデオキャプチャデバイスは、（ｉ）デジタルズーム範囲の第１の部分にわたって第１のカメラによってキャプチャされたビデオデータを使用し、（ｉｉ）デジタルズーム範囲の第２の部分にわたって第２のカメラによってキャプチャされたビデオデータを使用するよう構成され、本方法はさらに、デジタルズーム範囲の第２の部分においてあるズームレベルを提供するためにビデオキャプチャデバイスの第２のカメラを使用してビデオをキャプチャする間に、（ｉ）第２のカメラのための第２の正準基準空間への第１の変換と、（ｉｉ）第１のカメラのための第１の正準基準空間への第２の変換と、（ｉｉｉ）第１のカメラのための第１の正準基準空間内の画像データに電子画像安定化を適用するための第３の変換と含む変換のセットを適用することによって、第２のカメラを使用してキャプチャされた画像データを処理することを含む。

いくつかの実現例では、本方法は、デジタルズーム範囲の第１の部分において、あるズームレベルを提供するために、ビデオキャプチャデバイスの第１のカメラを使用してビデオをキャプチャする間に、（ｉ）第１のカメラのための第１の正準基準空間への変換と、（ｉｉ）第１のカメラのための第１の正準基準空間内のデータに電子画像安定化を適用するための変換とを含む変換のセットを適用することによって、第２のカメラを使用してキャプチャされた画像データを処理することを含む。

いくつかの実現例では、第１のカメラおよび第２のカメラは異なる視野を有し、（ｉ）第２のカメラの視野は第１のカメラの視野内に含まれるか、または（ｉｉ）第１のカメラの視野は第２のカメラの視野内に含まれる。

いくつかの実現例では、第１のカメラおよび第２のカメラは各々、固定焦点距離レンズアセンブリを含む。

いくつかの実現例では、第２のカメラのための正準基準空間および第１のカメラのための正準基準空間は、画像データを正準基準空間に投影することがビデオフレームのキャプチャ中の時間依存の影響を除去するように、所定の固定された組のカメラ固有特性によって定義される概念的カメラ空間である。

いくつかの実現例では、第１のカメラは、光学画像安定化（ＯＩＳ）システムを含み、第１のカメラのための第１の正準基準空間は、画像データが、一貫した所定のＯＩＳ位置を有して表されるものである。

いくつかの実現例では、第２のカメラは、光学画像安定化（ＯＩＳ）システムを含み、第２のカメラのための第２の正準基準空間は、画像データが、一貫した所定のＯＩＳ位置を有して表されるものである。

いくつかの実現例では、第１のカメラは、画像フレームの画像走査線を漸進的にキャプチャする画像データを提供し、第１のカメラのための第１の正準基準空間は、画像データが画像走査線について漸進的キャプチャによる歪みを除去するように補正されているものである。

いくつかの実現例では、第２のカメラは、画像フレームの画像走査線を漸進的にキャプチャする画像データを提供し、第２のカメラのための第２の正準基準空間は、画像データが画像走査線について漸進的キャプチャによる歪みを除去するように補正されているものである。

いくつかの実現例では、第２の変換は、第２のカメラの視野を第１のカメラの視野に整列させ、第１のカメラと第２のカメラとの間の空間オフセットについて調整する。

いくつかの実現例では、第１の変換、第２の変換、および第３の変換は各々、対応するホモグラフィ行列を有し、画像データを処理することは、ホモグラフィ行列を適用することを含む。

いくつかの実現例では、本方法は、第１のカメラを使用するビデオデータのキャプチャ、および電子画像安定化を適用するための第１のカメラからのビデオデータの処理中に、デジタルズーム範囲の第２の部分における特定のズームレベルへのズームレベルの変化を示すユーザ入力を受信することを含む。本方法は、ユーザ入力を受信することに応じて、所定のズームレベルに達するまで、第１のカメラを使用してキャプチャされるビデオフレームの倍率が漸増的に増加される、ビデオフレームのシーケンスを記録することと、第２のカメラを使用してビデオキャプチャを開始することと、第２のカメラを使用してキャプチャされるビデオフレームの第２のシーケンスを記録することとを含み、ビデオフレームの第２のシーケンスは、所定のズームレベルを提供し、特定のズームレベルに達するまで、第２のカメラを使用してキャプチャされるビデオフレームの、増加する倍率を提供する。

いくつかの実現例では、第２の変換は、第２のカメラの焦点距離に少なくとも部分的に基づいて決定される。

いくつかの実現例では、第１の変換は、第２のカメラを使用してキャプチャされる画像データの異なる走査線に対する複数の異なる調整を含む。

いくつかの実現例では、第３の変換は、ビデオフレームのために、ビデオフレームのうちの特定のビデオフレームごとに、特定のビデオフレームの前の１つ以上のビデオフレームと特定のビデオフレームの後の１つ以上のビデオフレームとを使用する電子画像安定化を含む。

いくつかの実現例では、第２のカメラは、第１のカメラより小さい視野を有する。本方法は、第１のカメラを使用する画像キャプチャ中に、ビデオキャプチャに対してズームレベルの変更を示すユーザ入力を受信することと、ユーザ入力を受信することに応じて、変更されたズームレベルが所定の遷移ズームレベル以上であるか否かを判定することとを含み、所定の遷移ズームレベルは、第２のカメラの視野よりも小さい視野を表す。

いくつかの実現例においては、本方法は、（ｉ）第１のカメラを使用するビデオキャプチャから第２のカメラを使用するビデオキャプチャに遷移するための第１の遷移ズームレベルと、（ｉｉ）第２のカメラを使用するビデオキャプチャから第１のカメラを使用するビデオキャプチャに遷移するための第２の遷移ズームレベルとを示すデータを記憶することを含み、第１の遷移ズームレベルは第２の遷移ズームレベルとは異なり、本方法はさらに、（ｉ）要求されたズームレベルが視野の減少に対応するとき、要求されたズームレベルを第１の遷移ズームレベルと比較することと、（ｉｉ）要求されたズームレベルが視野の増加に対応するとき、要求されたズームレベルを第２の遷移ズームレベルと比較することとによって、ビデオキャプチャのためにカメラ間で切り替えるかどうかを決定することを含む。

いくつかの実現例では、第１の遷移ズームレベルは、第２の遷移ズームレベルよりも小さい視野に対応する。

いくつかの実現例においては、本方法は、ビデオファイルの記録中に、カメラのうちの特定のカメラを使用してビデオをキャプチャすることから、カメラのうちの別のカメラを使用してビデオをキャプチャすることに切り替えることを決定することと、切り替えることを決定することに応答して、特定のカメラを使用する画像キャプチャのために使用されているビデオキャプチャパラメータの値を判断することと、判断されたビデオキャプチャパラメータに基づいて、別のカメラに対するビデオキャプチャパラメータの値を設定することと、別のカメラに対するビデオキャプチャパラメータの値を設定した後、第２のカメラからのビデオキャプチャを開始し、第２のカメラからのキャプチャされたビデオをビデオファイルに記録することとを含む。ビデオキャプチャパラメータを設定することは、第２のカメラについて、露出、画像センサ感度、ゲイン、画像キャプチャ時間、開口サイズ、レンズ焦点距離、ＯＩＳステータス、またはＯＩＳレベルのうちの１つ以上を調整することを含む。

この局面の他の実施形態および本明細書で論じられる他の実施形態は、コンピュータストレージデバイス上に符号化された、方法の動作を実行するよう構成された、対応するシステム、装置、およびコンピュータプログラムを含む。１つ以上のコンピュータまたは他のデバイスのシステムは、動作中にシステムにアクションを実行させる、システムにインストールされたソフトウェア、ファームウェア、ハードウェア、またはそれらの組合せによってそのように構成されることができる。１つ以上のコンピュータプログラムは、データ処理装置によって実行されるとデータ処理装置にアクションを実行させる命令を有することによってそのように構成されることができる。

別の一般的な態様では、１つ以上の機械可読媒体は、１つ以上のプロセッサによって実行されると動作の実行を引き起こす命令を記憶し、上記動作は、第１のカメラおよび第２のカメラを有するビデオキャプチャデバイスが、ビデオ記録中にデジタルズーム範囲内でユーザ指定の倍率変更を可能にするデジタルズーム機能を提供することを含み、ビデオキャプチャデバイスは、（ｉ）デジタルズーム範囲の第１の部分にわたって第１のカメラによってキャプチャされたビデオデータを使用し、（ｉｉ）デジタルズーム範囲の第２の部分にわたって第２のカメラによってキャプチャされたビデオデータを使用するよう構成され、上記動作はさらに、デジタルズーム範囲の第２の部分において、あるズームレベルを提供するために、ビデオキャプチャデバイスの第２のカメラを使用してビデオをキャプチャする間に、（ｉ）第２のカメラのための第２の正準基準空間への第１の変換と、（ｉｉ）第１のカメラのための第１の正準基準空間への第２の変換と、（ｉｉｉ）第１のカメラのための第１の正準基準空間内の画像データに電子画像安定化を適用するための第３の変換と含む変換のセットを適用することによって、第２のカメラを使用してキャプチャされた画像データを処理することを含む。

別の全般的な局面では、ビデオキャプチャデバイスは、第１の視野を有する第１のカメラと、第２の視野を有する第２のカメラと、１つ以上の位置または向きセンサと、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されると動作の実行を引き起こす命令を記憶する１つ以上のデータ記憶装置とを備え、上記動作は、第１のカメラおよび第２のカメラを有するビデオキャプチャデバイスが、ビデオ記録中にデジタルズーム範囲内でユーザ指定の倍率変更を可能にするデジタルズーム機能を提供することを含み、ビデオキャプチャデバイスは、（ｉ）デジタルズーム範囲の第１の部分にわたって第１のカメラによってキャプチャされたビデオデータを使用し、（ｉｉ）デジタルズーム範囲の第２の部分にわたって第２のカメラによってキャプチャされたビデオデータを使用するよう構成され、上記動作はさらに、デジタルズーム範囲の第２の部分において、あるズームレベルを提供するために、ビデオキャプチャデバイスの第２のカメラを使用してビデオをキャプチャする間に、（ｉ）第２のカメラのための第２の正準基準空間への第１の変換と、（ｉｉ）第１のカメラのための第１の正準基準空間への第２の変換と、（ｉｉｉ）第１のカメラのための第１の正準基準空間内の画像データに電子画像安定化を適用するための第３の変換と含む変換のセットを適用することによって、第２のカメラを使用してキャプチャされた画像データを処理することを含む。

いくつかの実現例では、第１のカメラおよび第２のカメラは異なる視野を有し、第２のカメラの視野は第１のカメラの視野内に含まれる。第１のカメラおよび第２のカメラは各々、固定焦点距離レンズアセンブリを含むことができる。

本発明の１つ以上の実施形態の詳細は、添付の図面および以下の説明に記載される。本発明の他の特徴および利点は、説明、図面、および特許請求の範囲から明らかになるであろう。

マルチカメラビデオ安定化を提供するデバイスの例を示す図である。 マルチカメラビデオ安定化を提供するデバイスの例を示す図である。 図１Ａ～図１Ｂのデバイスの構成要素の例を示すブロック図である。 ビデオ安定化のための例示的な技術を示す図である。 図１Ａ～図１Ｂのデバイスによる処理の追加の例を示すブロック図である。 マルチカメラビデオ安定化のための技術の例を示す図である。 マルチカメラビデオ安定化のための技術の例を示す図である。 マルチカメラビデオ安定化のための技術の例を示す図である。 マルチカメラビデオ安定化を効率的に提供するために使用され得る例示的な変換を示す図である。

様々な図面における同様の参照番号および名称は、同様の要素を示す。
詳細な説明
図１Ａ～図１Ｂは、マルチカメラビデオ安定化を提供するデバイス１０２の例を示す図である。ビデオ安定化は、モバイルデバイスのカメラシステムにとって重要な特徴であることが多い。従来の単一カメラビデオ安定化では、ビデオフレームは、振れ易い実カメラ軌道中に実際にキャプチャされた画像データから、時間平滑化された仮想カメラ軌道のための安定化された出力に変換することができる。単一カメラでは、実カメラ軌道中に取得されたフレームは、平滑化された仮想カメラ軌道に沿ったフレームを表す変更された出力フレームに投影され得る。

いくつかのデバイスは、同じシーンの異なる視野をキャプチャするように配置された、同じ方向を向く（例えば、デバイスの同じ側にある）複数のカメラを含む。マルチカメラシステムでは、デバイスは、単一のビデオが、異なるカメラを使用してキャプチャされたセグメントを含むように、ビデオをキャプチャする過程でカメラを切り替えてもよい。カメラ間の切り替えが発生すると、異なる実カメラが使用されているので、単一の実カメラ軌道はもはや存在しない。それにもかかわらず、デバイスは、カメラ間の遷移の期間中であっても、キャプチャされた映像の連続性および滑らかさを維持するために、同じ仮想カメラ軌道を維持すべきである。本明細書で論じられるように、仮想カメラ軌道は、複数のカメラ間で維持され、カメラ間の切り替えが気を散らしたりまたは中断効果（例えば、スタッター、画像オフセットまたは視野の急激な変化、安定化の中断または適用される安定化レベルの急激な変化など）を引き起こさないように、経時的に平滑化されることができる。

マルチカメラビデオ安定化システムは、様々な利益を提供するように実現され得る。経時的なビデオの平滑化に加えて、異なるカメラのビデオキャプチャの期間と期間との間の遷移も平滑化することができる。加えて、本技術は、たとえば、継続的なビデオキャプチャと同時に、キャプチャされたビデオに平滑化を適用するために、リアルタイムで動作するのに、およびバッテリ動作デバイスによる長期使用を可能にするために電力を節約するのに、充分に効率的であり得る。

図１Ａの例では、デバイス１０２は電話として示されているが、タブレットコンピュータ、カメラなどの別のタイプのデバイスであってもよい。デバイス１０２は、第１のカメラ１１０ａおよび第２のカメラ１１０ｂを含むマルチカメラモジュール１０８を含む。２つのカメラ１１０ａ、１１０ｂは、デバイス１０２の同じ側に配置され、したがって、両方とも、（例えば、図示の電話機の背面において、）デバイス１０２に面する同じシーン１０５の画像をキャプチャするように配置される。カメラ１１０ａ、１１０ｂは、カメラ１１０ａ、１１０ｂがデバイス１０２と同じ程度および同じ動きで共に移動するよう、デバイス１０２に共にしっかりと結合され得る。

カメラは異なる視野を有する。例えば、第１のカメラ１１０ａは、第１の視野１２０を有し、第２のカメラ１１０ｂは、第１の視野１２０よりも狭い第２の視野１２２を有する。視野１２０、１２２は著しく異なってもよいが、２つのカメラ１１０ａ、１１０ｂは同様の画像解像度を有してもよい。２つの視野１２０、１２２は重なり合うことができる。特に、第２のカメラ１１０ｂの視野１２２は、第１のカメラ１１０ａの視野１２０内に完全に含まれることができる。例として、第１の視野１２０は７７度であってもよく、第２の視野１２２は５２度であってもよく、５２度の視野１２２は、ほとんどまたは完全に７７度の視野１２０内にある。この例では、カメラ１１０ａ、１１０ｂは各々、固定焦点距離レンズ、例えば光学ズームなしのレンズアセンブリを使用する。言い換えれば、各カメラ１１０ａ、１１０ｂのレンズ焦点距離は、フォーカスブリージングなどの焦点関連効果とは別に、固定されてもよい。

カメラ１１０ａ、１１０ｂのうちの１つ以上は、カメラブレおよびデバイス１０２の他の望ましくない動きの影響を低減するために、光学画像安定化（ＯＩＳ）モジュールを含んでもよい。カメラ１１０ａ、１１０ｂがＯＩＳモジュールを含むか否かにかかわらず、デバイス１０２は、電子画像安定化（ＥＩＳ）を使用して、キャプチャされたビデオを経時的に平滑化することができる。以下でさらに説明するように、ＥＩＳ処理は、キャプチャされたフレームに変換を適用して、ブレる実カメラ軌道に沿って撮られたキャプチャされたフレームを、仮想カメラの平滑化またはフィルタリングされた軌道を表す安定化された出力フレームに投影することができる。

デバイス１０２は、カメラ１１０ａ、１１０ｂを使用して、異なるカメラ１１０ａ、１１０ｂからの異なる倍率レベルでの画像キャプチャを使用する有効ズーム範囲を提供する。デバイス１０２は、ズーム範囲の異なる部分において異なるカメラ１１０ａ、１１０ｂの出力に適用されるデジタルズーム技術を使用してズーム範囲を提供することができる。例として、本デバイスは、１．０ｘ～３．０ｘの全体ズーム範囲を提供してもよい。より広い視野１２０を提供するカメラ１１０ａは、ズーム範囲の第１の部分、たとえば１．０ｘ～１．８ｘの画像をキャプチャするために使用されてもよい。ズームが所定の遷移点、例えば１．８ｘなどの特定のレベルに達すると、デバイス１０２は、第１のカメラ１１０ａを用いてビデオをキャプチャすることから第２のカメラ１１０ｂを用いてビデオをキャプチャすることに切り替わる。より狭い視野１２２を提供するカメラ１１０ｂは、ズーム範囲の第２の部分、例えば、１．８ｘ～３．０ｘの画像をキャプチャするために使用されてもよい。

図示される例は、デバイス１０２が、ビデオ１３０がデバイス１０２によってキャプチャされ記録されているときにキャプチャされたビデオ１３０をユーザが見ることを可能にするディスプレイを含むことを示す。デバイス１０２は、ビデオキャプチャ中にズームレベルを動的に調整するための制御１３２をユーザに提供することができる。この例では、制御１３２は、デバイス１０２のタッチスクリーン上に示される画面上スライダ制御であり、ユーザに、ズームを、ズーム範囲に沿った所望の位置に設定させる。いくつかの実現例では、ズームレベルは、細かい粒度の増分で、たとえば、０．２ｘ、０．１ｘ、またはそれより小さいステップで調整され、ユーザが、サポートされたズーム範囲にわたって連続的なズームに実質的に近似する態様で、サポートされたズーム範囲にわたって徐々に移動することを可能にする。

図１Ｂは、カメラ１１０ａ、１１０ｂからの出力を用いて異なるズームレベルをどのように提供できるかの例を示す。それぞれの視野１２０、１２２は、異なるズームレベルを提供するために使用され得るクロッピングされた部分１４０ａ～１４０ｅとともに示される。出力フレーム１５０ａ～１５０ｅは、異なるズームレベルで提供され得る例示的なフレーム出力を示す。２つのカメラ１１０ａ、１１０ｂは、デバイス１０２内で互いに物理的にオフセットされているので、シーンのビューに違いがあることに留意されたい。たとえ２つのカメラが同じシーンを見ているとしても、シーン内の被写体は、単眼視差に起因して、カメラの出力においてわずかに異なる位置を有するであろう。以下で更に説明する画像変換は、カメラ１１０ａ、１１０ｂの出力間のこの視差および他の差を補正することができる。

出力フレーム１５０ａ～１５０ｃは各々、より広い視野１２０を提供する第１のカメラ１１０ａからの画像データから導出される。ズームレベルが１．８ｘなどの閾値に達すると、デバイス１０２は、より狭い視野１２２を提供する第２のカメラ１１０ｂによってキャプチャされた画像データを使用することに切り替わる。カメラ１１０ａ、１１０ｂ間の遷移は、ズームレベルが第２のカメラ１１０ｂの視野１２２内に完全に含まれるズームレベルで起こることができ、その結果、所望のズームレベルで出力フレームを満たすのに充分な画像データが存在する。いくつかの実現例では、デバイス１０２は、ＥＩＳ処理のために使用され得るキャプチャされたデータのマージンを保持するために、ズームレベルが第２のカメラ１１０ｂの全出力よりも小さいエリアに対応すると、遷移を実行するよう構成される。

概して、出力品質を最大化するために、視野１２２が出力フレームを満たすことができるズームレベル付近で、より狭い視野１２２に切り替えることが有利である。これは、より狭い視野１２２が、シーンのその領域に対して、より高い解像度を提供するからである。２つのカメラ１１０ａ、１１０ｂは、同様の解像度を有してもよいが、より狭い視野１２２においては、カメラ１１０ｂは、シーンのビューをキャプチャするためにその全解像度を使用することができるが、同じビューは、より広いカメラ１１０ａの解像度のほんの一部でキャプチャされるであろう。この例では、第１のカメラ１１０ａのズームインされた視野１４０ｃが第２のカメラ１１０ｂの全視野１２２に一致するズームレベル、たとえば１．７ｘがある。この点で、第１のカメラ１１０ａのための画像センサのかなり小さい部分のみが、出力フレーム１５０ｃを提供するために使用されており、したがって、出力フレーム１５０ｃは、より広いズームレベルで提供されるよりも低い解像度または低い品質であり得る。対照的に、第２のカメラ１１０ｂの画像センサの全解像度は、そのレベルの有効ズームまたは倍率を提供するよう使用され得、より高い品質の出力をもたらす。平衡点（例えば、１．７ｘ）またはそのすぐ後において第２のカメラ１１０ｂに切り替えることによって、デバイス１０２は、そのズームレベルおよび更なるズームレベルにおいて、より高い品質を提供することができる。

いくつかの実現例では、カメラ１１０ａ～１１０ｂを切り替えるために設定されるズームレベルは、第２のカメラ１１０ｂが画像フレームを埋めることができる点の後に設定される。例えば、遷移点は、カメラ１１０ａ、１１０ｂの異なる物理的位置から生じる単眼視差を考慮するマージンを提供するズームレベルに設定され得る。その結果、第２のカメラ１１０ｂが１．７ｘのズームレベルでフレームを満たすことができる場合、それにもかかわらず、デバイス１０２は、カメラ１１０ｂからの全センサ出力が（例えば、所望のフレームキャプチャエリアを表す領域を囲むエッジにおいて）画像データのバッファ領域を提供するように、例えば、１．８ｘまたは１．９ｘのズームまで、第２のカメラ１１０ｂを使用するキャプチャへの切り替えを遅延してもよく、したがって、単眼視差を補正するために必要とされる任意のオフセットまたは他の調整が、例えば、視野１２２を視野１２０の拡大されたエリアと整列させ、および依然として出力フレームを満たすよう、行われることができる。

デバイス１０２は、ビデオ安定化、例えば、デバイス１０２の動きの影響を低減または排除するために、経時的にフレーム内において見えるカメラの動きの平滑化を適用する。デバイス１０２は、ビデオ安定化、例えば、ＥＩＳ処理を、リアルタイムで、またはほぼリアルタイムで、例えば、安定化されているビデオに対する進行中のビデオキャプチャと同時に実行することができる。経時的な（例えば、複数のフレームにわたる）ビデオ安定化平滑化は、ズーム設定が変化するにつれてカメラ１１０ａとカメラ１１０ｂとの間の遷移と協調されることができる。それにもかかわらず、以下に論じられるように、第２のカメラ１１０ｂの出力を第１のカメラ１１０ａのための正準空間にマッピングする画像データ変換が使用され得、単一のＥＩＳ処理スキームが両方のカメラ１１０ａ、１１０ｂの出力のために一貫して使用されることを可能にする。

本明細書で論じる技術は、２つ以上の固定焦点距離レンズとともに効果的に使用することができる。任意選択的に、本明細書で論じる技術はまた、光学ズームを提供する１つ以上のレンズとともに使用することもできる。例えば、本技術は、（ｉ）交差または重複してもしなくてもよい異なる光学ズーム範囲を有する複数のカメラ、または（ｉｉ）光学ズームを提供する１つ以上のカメラおよび１つ以上の固定焦点距離カメラ、からの画像キャプチャを含む範囲にわたるシームレスな有効ズームを提供するために使用することができる。

図２は、ビデオ安定化を提供するデバイス１０２の例を示す図である。上記で説明したように、デバイス１０２は、第１のカメラ１１０ａと第２のカメラ１１０ｂとを含む。カメラ１１０ａ～１１０ｂのうちの１つ以上は、任意選択でＯＩＳモジュール２１５ａ～２１５ｂを含んでもよい。デバイス１０２は、ＯＩＳモジュール２１５ａ～２１５ｂが含まれる場合、ＯＩＳモジュール２１５ａ～２１５ｂを使用しながらビデオフレームをキャプチャして、フレームキャプチャ中にデバイス１０２の動きを少なくとも部分的に打ち消してもよい。デバイス１０２はまた、１つ以上のデバイス位置センサ２２０と、１つ以上のデータ記憶装置２３０と、ＥＩＳモジュール２５５とを含む。

デバイス１０２は、携帯電話、タブレットコンピュータ、カメラなどのカメラモジュールを含む様々なタイプのいずれかであることができる。いくつかの実現例では、デバイス１０２は、ソフトウェア、ハードウェア、またはそれらの何らかの組合せで実行されてもよい、ＥＩＳモジュール２５５の動作を実行するためのコンピューティングシステムを含むことができる。たとえば、デバイス１０２は、様々な処理構成要素、たとえば、１つ以上のプロセッサ、実行可能命令を記憶する１つ以上のデータ記憶装置、メモリ、入力／出力構成要素などを含んでもよい。ＥＩＳ処理を実行するプロセッサは、汎用プロセッサ（例えば、携帯電話または他のデバイスのメインＣＰＵ）、グラフィックスプロセッサ、コプロセッサ、画像プロセッサ、固定機能ＥＩＳプロセッサ、またはそれらの任意の組合せを含んでもよい。

ＥＩＳモジュール２５５は、デバイス位置センサ２２０およびＯＩＳモジュール２１５ａ～２１５ｂの両方からの位置データを使用して、記録デバイスによってキャプチャされたビデオを安定化させる。例えば、ＯＩＳモジュール２１５ａ～２１５ｂからの位置データは、デバイス位置データから推測されるであろう期待されるカメラビューに対する、ＯＩＳの動きの影響を表すオフセットを判断するために使用されることができる。これは、たとえＯＩＳモジュール２１５ａ～２１５ｂがデバイス位置に対してカメラのシーンのビューを変化させても、ＥＩＳモジュール２１５が画像センサの実際のビューを反映する有効カメラ位置を推定することを可能にする。本明細書で説明されている他の特徴とともに、これらの技術は、デバイス１０２がＯＩＳ処理とＥＩＳ処理とを同時に効果的に使用し、両方の技術の利益を実現することを可能にする。

概して、ＯＩＳは、カメラブレによる個々のフレーム内のぼやけを低減するのに非常に有効であり得、ＯＩＳは、一連のフレームにわたって見える動きを低減するのにいくらか有効であり得る。しかしながら、単独で使用されるＯＩＳは、多くの場合、種々の制限を受ける。ＯＩＳモジュールは、動きに応答する速度、および補償することができる動きの大きさにおいて、制限される場合がある。さらに、ＯＩＳモジュールの動作は、しばしば、ゆらぎのあるビデオなどの歪みを引き起こし、パニングなどの所望の動きに誤って対抗することがある。ＥＩＳモジュール２５５は、ＯＩＳモジュールの内部の動きを記述する位置データを使用して、これらの制限の影響を軽減することができる。

ＯＩＳモジュール２１５ａ～２１５ｂは、記録デバイスの動きを補償しようと試みるので、デバイスの動きだけでは、ビデオキャプチャ中に使用される真のカメラビューを示さない場合がある。ＥＩＳ処理がデバイスの動きのみに基づいて動きを補償しようと試みる場合、ＥＩＳ処理は、ＯＩＳシステムによって既に補償された動きを補正しようと試みる場合がある。さらに、ＯＩＳは、概して、デバイスの動きの影響を部分的にのみ除去し、補償の量は、フレーム毎に変動し得る。高品質の安定化を提供するために、ＥＩＳモジュール２５５は、ＯＩＳ位置データをデバイスレベル位置データとともに使用して、各フレームに対して、およびいくつかの実現例ではフレームの個々の走査線に対しても適用される安定化の量を変化させる。この処理は、効果的な安定化を提供するとともに、ビデオ映像の歪みを低減または排除することができる。例えば、フレームをキャプチャする間のＯＩＳレンズシフト位置の変化は、特に、多くのカメラモジュールに典型的であるローリングシャッタと組み合わせられるとき、歪みを導入し得る。フレームキャプチャ中の異なる時間におけるＯＩＳレンズシフトに関する情報を用いて、ＥＩＳモジュール２５５は、フレームの異なる部分がキャプチャされたときのレンズ位置を推定し、画像を補正することができる。ＥＩＳモジュール２５５はまた、パニングに干渉するかまたはそうでなければ望ましくないＯＩＳレンズシフトの影響を低減するように補償することもできる。

ＥＩＳモジュール２５５がビデオを強化することができる別の方法は、後でキャプチャされたフレームについてのデータの分析によるものである。特定のフレームを処理するために、ＥＩＳ処理モジュールは、１つ以上の将来のフレームがキャプチャされた時間を含む時間ウィンドウ内のカメラ位置の組を評価してもよい。将来のフレームおよび対応する位置に関する情報は、いくつかの方法で使用することができる。第１に、ＥＩＳモジュール２５５は、カメラ位置の組にフィルタリングを適用して、フレームを変更するために画像変換を定義するよう使用される動きパターンを平滑化することができる。第２に、ＥＩＳモジュール２５５は、カメラ位置の組を使用して、一貫した動き（例えば、パニング）が存在するかまたは試みられる可能性を評価し、次いで、その可能性が高い場合には、この動きと一貫してフレームを調整することができる。第３に、ＥＩＳモジュール２５５は、フレームのカメラ位置を、将来のカメラ位置に対して評価し、将来の大きな動きに対して調整を行うことができる。例えば、将来のフレームに対して大きな急速な動きが識別された場合、ＥＩＳモジュール２５５は、その動きが始まる前にフレームの内容の調整を開始することができる。ＥＩＳモジュール２５５は、大きな目に見える動きを数フレームにわたって可能にするのではなく、その動きをより大きなフレームにわたって広げることができ、漸増的な画像シフトが、より早期のフレーム中に生じ、動きを、より多数のフレームにわたって徐々に広げる。

ＥＩＳモジュール２５５は、出力フレームの領域的合成を実行し、例えば、画像フレームの各走査線に適用される変換を変更する。これにより、システムは、ローリングシャッタ歪み、ＯＩＳモジュール２１５ａ～２１５ｂの動き、および単一フレームのキャプチャ持続時間内に生じる様々なデバイスの動きを補正することが可能になる。

さらに図２を参照すると、デバイス１０２は、ビデオデータをキャプチャするようカメラを有する任意の適切なデバイス、たとえば、カメラ、セルラーフォン、スマートフォン、タブレットコンピュータ、ウェアラブルコンピュータ、または他のデバイスであり得る。図２の例は、ビデオをキャプチャおよび処理する単一のデバイスを示すが、機能は、任意選択肢的に、複数のデバイスまたはシステムの間で拡散されてもよい。たとえば、第１のデバイスは、ビデオフレームをキャプチャしてもよく、また、位置データおよび他のパラメータをメタデータとして記録してもよい。第１のデバイスは、ビデオフレームおよびメタデータを、本明細書で説明するＥＩＳ処理を実行することができる第２のデバイス、たとえば、ローカルコンピューティングシステムまたはリモートサーバに提供してもよい。

第１のカメラ１１０ａは、レンズ素子、画像センサ、センサ読取回路、および他の構成要素を含むことができる。ＯＩＳモジュール２１５ａ～２１５ｂは、センサと、可動要素と、プロセッサと、可動要素を動かすための駆動機構とを含むことができる。可動要素は、第１のカメラ１１０ａの光路内に位置する。例えば、可動要素は、反射または屈折要素、例えば、レンズ、ミラー、プリズムであってもよい。いくつかの実現例では、可動要素は第１のカメラ１１０ａの画像センサである。センサは、動きを検出するための１つ以上のジャイロスコープまたは他のセンサを含むことができる。プロセッサは、センサによって示される動きを補償するために可動要素に必要とされる動きの量および方向を決定し、次いで、可動要素を動かすように駆動機構に命令する。

デバイス１０２は、デバイス１０２の向きの変化を測定する１つ以上の位置センサ２２０を含む。いくつかの実現例では、デバイス１０２のための位置センサ２２０は、ＯＩＳモジュール２１５ａ～２１５ｂによって使用されるセンサとは別個である。位置センサ２２０は、１つ以上の軸の周りのデバイス１０２の回転を検出することができる。例として、デバイス位置センサ２２０は、３軸ジャイロスコープまたは慣性測定ユニット（ＩＭＵ）であってもよい。加えて、または代替として、他のセンサが、デバイス位置を判断するために使用されてもよい。たとえば、１つ以上の加速度計、１軸ジャイロスコープ、２軸ジャイロスコープなどを使用して、デバイス１０２の位置を判断してもよい。概して、デバイス１０２の回転位置が判断されることを可能にする、任意の適切なセンサまたはセンサの組み合わせを、使用することができる。

いくつかの例では、ＯＩＳモジュール２１５ａ～２１５ｂのジャイロスコープセンサからの位置データは、記録デバイス２２０の別個の位置センサ２２０を使用することに加えて、またはその代わりに、キャプチャされ記憶されてもよい。それにもかかわらず、デバイス１０２がＯＩＳセンサとは異なる特性を有するジャイロスコープセンサを使用することは有益であり得る。例えば、デバイス１０２のジャイロスコープセンサは、１００度／秒より大きい感知可能な回転範囲で約４００Ｈｚのレートで測定値を提供してもよい。デバイスレベルセンサと比較して、ＯＩＳモジュールの典型的なジャイロスコープセンサは、測定値を、異なるレートおよび範囲、例えば、５０００測定値／秒以上のレートを、約１０度／秒の感知可能な回転範囲で、提供してもよい。いくつかの実現例では、（たとえば大きい動きを記述するために、）デバイスレベルセンサの、より大きい感知可能な回転範囲を有することは、（例えば小さな変化または高周波パターンを検出するための）ＯＩＳモジュールセンサの、より頻繁な測定と同様に、有益である。したがって、両方のタイプのデータを、デバイス１０２の位置を判断するために、一緒に使用してもよい。

デバイス１０２は、第１のカメラ１１０ａを特徴付ける情報およびフレームキャプチャプロセスを記憶する１つ以上のデータ記憶装置２３０を含む。例えば、記憶されたデータは、ＯＩＳモジュール２１５ａ～２１５ｂの位置と画像データに生じる結果として生じるオフセットとの間の関係を示す較正データ２３２を含むことができる。同様に、較正データ２３２は、カメラモジュールレンズ焦点位置とそれら焦点位置に対する有効焦点距離との対応を（例えば各カメラ１１０ａ、１１０ｂに対して異なるマッピングで）示すことができ、システムがフォーカスブリージングを考慮することを可能にする。加えて、較正データ２３２または他の記憶されたデータは、カメラレンズ焦点位置と被写体距離との対応を示すことができ、オートフォーカスシステムによって選択されたレンズ焦点位置から、カメラのセンサ面からの合焦された被写体の距離を示す被写体距離への変換を可能にする。較正データ２３２はまた、一方のカメラ１１０ａの他方のカメラ１１０ｂに対する相対的な３Ｄ空間位置も示す。通常、これは、一方のカメラの他方のカメラに対する３Ｄ回転および３Ｄ並進を特定する較正データを含む。典型的には、較正は、最良のユーザ体験を保証するために、製造される各デバイスに対して行われる。その結果、較正データ２３２は、特定のカメラモジュール（例えば、カメラ１１０ａ、１１０ｂ、それらの取り付け構造など）の特性および製造後のモジュールの状態に対して非常に正確であることができる。記憶されたデータは、第１のカメラ１１０ａ内の画像センサの読取特性を示すことができる走査パターンデータ２３４を含むことができる。例えば、走査パターンデータ２３４は、走査の方向（例えば、走査線は、上から下へ読み取られる）、走査線が個別に読み取られるかまたはグループで読み取られるかなどを示すことができる。

ビデオキャプチャ中、カメラ１１０ａ～１１０ｂ、ＯＩＳモジュール２１５ａ～２１５ｂ、およびデバイス位置センサ２２０は各々、ビデオキャプチャプロセスについての情報を提供し得る。第１のカメラ１１０ａは、ビデオフレームデータ２４２ａ、例えば、ビデオ画像フレームのシーケンスを提供する。第２のカメラ１１０ｂは、同様に、ビデオフレームデータ２４２ｂを提供する。カメラ１１０ａ～１１０ｂはまた、フレーム露出データ２４４ａ～２４４ｂも提供し、これは、キャプチャされたフレームごとに、露出持続時間、および露出がいつ生じたかを示す基準時間（例えば、露出の開始時間または終了時間）の指示を含み得る。カメラ１１０ａ～１１０ｂはまた、各キャプチャされたフレームに対するレンズ焦点位置を示すレンズ焦点位置データ２４６ａ～２４６ｂも提供する。

ＯＩＳモジュール２１５ａ～２１５ｂは、ビデオキャプチャ中の様々な時間におけるＯＩＳモジュール２１５ａ～２１５ｂの可動要素の位置を示すＯＩＳ位置データ２４８ａ～２４８ｂを提供する。例えば、可動要素が、動きを補償するようにシフトする可動レンズである場合、ＯＩＳモジュール２１５ａ～２１５ｂは、各々における可動レンズの現在位置を特定するレンズシフト読取を提供することができる。デバイス１０２は、レンズシフト位置およびその位置が生じた時間を記録することができる。いくつかの実現例では、ＯＩＳ位置データ２４８ａ～２４８ｂは、各ビデオフレーム露出の持続時間にわたって複数の測定が行われるように、高い周波数で、たとえばビデオキャプチャのフレームレートよりも高いレートでキャプチャされる。

デバイス位置センサ２２０は、ビデオキャプチャ中のデバイス１０２の回転および／または他の動きを示すデバイス位置データ２５０を提供する。デバイス位置は、高い周波数、例えば２００Ｈｚ以上で測定することができる。したがって、多くの事例では、測定値は、各ビデオフレームのキャプチャ中に複数の異なる時間について取得されることができる。

レンズ焦点位置データ２４６、ＯＩＳ位置データ２４８、およびデバイス位置データ２５０はすべて、特定された位置が生じた時間を示すタイムスタンプとともに記録され得る。タイムスタンプは、例えば、最も近いミリ秒まで、精度よく作成することができ、様々な位置測定から得られたデータを時間的に整列させることができる。さらに、デバイス、ＯＩＳシステム、またはレンズ焦点機構の位置を補間して、測定間の時間における値を判断することができる。

データキャプチャの潜在的タイミングの例が、チャート２５２に示されている。図示のように、デバイス位置データ２５０（たとえば、ジャイロスコープデータ）およびＯＩＳ位置データ２４８（たとえば、レンズシフト位置データ）は、ビデオキャプチャフレームレート（例えば、３０フレーム／秒、６０フレーム／秒など）よりも高いレートでキャプチャされてもよく、デバイスおよびＯＩＳシステムの複数の位置は各ビデオフレームについて判断されることができる。その結果、シャッタ方向に応じて水平または垂直であってもよい各走査線について、異なるデバイス位置およびＯＩＳ設定を使用して、その走査線の変換を判断することができる。レンズ焦点位置データ２４６は、画像フレーム毎に少なくとも１回キャプチャされてもよい。この位置データは、例えば、ジャイロスコープセンサデータおよびＯＩＳ位置データが、画像フレーム露出の開始または終了を超過し、必ずしもそれと同期されないレートでサンプリングされることによって、フレーム露出に対して非同期的にキャプチャされてもよい。

カメラ１１０ａ～１１０ｂおよび他の構成要素から得られたデータは、処理のためにＥＩＳモジュール２５５に提供される。この処理は、ビデオキャプチャが進行している間に行われてもよい。例えば、ＥＩＳ処理は、実質的にリアルタイムで実行することができ、それにより、ビデオキャプチャの終了時にユーザにアクセス可能にされたビデオファイルは、ＥＩＳモジュール２５５によって安定化されている。いくつかの実現例では、ＥＩＳ処理は、後で、例えば、ビデオキャプチャが完了した後で、またはビデオを記録したのとは異なるデバイスによって、実行されてもよい。ＥＩＳモジュール２５５は、ハードウェア、ファームウェア、ソフトウェア、またはこれらの組合せもしくは部分的組合せで実現されることができる。

図２は、ＥＩＳモジュール２５５の機能の一部のみを示す。図２の例は、カメラ１１０ａ～１１０ｂのうちの単一のカメラからキャプチャされたフレームを含むビデオフレームに対するＥＩＳ処理を示し、デジタルズームを提供するため、またはズームレベルに対してＥＩＳ処理を調整するために使用される特徴を説明しない。しかし、以下に説明するように、デバイス１０２は、両方のカメラからキャプチャされた画像データを使用して、ビデオキャプチャおよび記録中にデジタルズームを提供することができる。例えば、ユーザが閾値ズーム量にズームインすると、デバイス１０２は、第１のカメラ１１０ａからキャプチャされた画像の使用から、第２のカメラ１１０ｂからキャプチャされた画像の使用に切り替えることができる。さらに、ズームインはビデオ内の目に見える振れを強調し得るので、ズームレベルは、例えば、ズームレベルが増加するにつれてより大きな安定化レベルを適用するために、ＥＩＳモジュール２２５の変換および他の動作を調整することができる。複数のカメラ間のデジタルズームおよび遷移を考慮するＥＩＳ処理の調整を、図４から図６に関して論ずる。幾つかの実現例では、変換は、キャプチャされた画像の各ラインについて、異なる変換を適用することによって達成され得る。画像のラインごとに、デバイス１０２は、そのラインに対する特定のタイムスタンプを計算することができ、このラインは、対応するＯＩＳおよびデバイス位置データと関連付けられる。

さらに図２を参照すると、ＥＩＳモジュール２５５は、デバイス位置センサ２２０から更新されたデバイス位置データ２５０を周期的または連続的に取得するデバイス位置データハンドラ２５６を含む。動きデータハンドラは、デバイス位置データ２５０から現在のカメラ姿勢を推定する。例えば、ジャイロスコープ信号を取得し、これを使用して、デバイス１０２のデバイス位置を、例えば２００Ｈｚなどの高周波数で推定することができる。所与の時間ｔにおけるこのデバイス位置は、以下ではＲ（ｔ）と呼ばれる。このデバイス位置は、例えば、１つ、２つ、または３つの軸に対するデバイス１０２の回転位置を示してもよい。デバイス位置は、回転行列として、または座標系に関して、または他の形態で表されてもよい。各計算されたデバイス位置は、デバイス１０２のその位置が生じた時間を示す時間でラベル付けすることができる。

ＥＩＳモジュール２５５は、ＯＩＳ位置データハンドラ２５８を含み、これは、ＯＩＳ位置データ２４８として示されるＯＩＳ位置読取を周期的または連続的に取得する。ＯＩＳ位置データハンドラ２５８は、ＯＩＳ読取値を、デバイス位置と共に使用することができるオフセットに変換する。例えば、ＯＩＳレンズ位置を２次元画素オフセットに変換することができる。オフセットを生成するために、ＯＩＳ位置データハンドラ２５８は、ＯＩＳ位置から対応するオフセットに変換するよう変換係数または行列を提供し得る、記憶された較正データ２３２を使用することができる。ＯＩＳ位置によるオフセットを生成することは、例えば、第１のカメラ１１０ａが光学ズームが可能である場合、レンズ焦点位置および／またはレンズズーム位置の変化に起因する、経時的なカメラの有効焦点距離の変化を考慮に入れることができる。動きデータハンドラ２５６と同様に、ＯＩＳ位置データハンドラ２５８は、各測定値およびオフセットを、データが表す時間でラベル付けする。

ＥＩＳモジュールは、デバイス位置データハンドラ２５６によって計算されたデバイス位置と、ＯＩＳ位置データハンドラ２５８によって計算されたＯＩＳオフセットとを受信する動きモデル構築部２６０を含む。このデータならびにフレーム露出データ２４４およびレンズ焦点位置データ２４６を用いて、動きモデル構築部２６０は、フレームのために第１の変換２６２を生成する。たとえば、第１の変換２６２は、カメラのビュー内の実世界のシーンをキャプチャされたフレームにマッピングする射影行列であり得る。このプロセスは、フレームごとに繰り返される。フレームのために第１の変換２６２を生成するとき、ＯＩＳモジュール２１５ａ～２１５ｂの位置は、ジャイロスコープデータから判断された主のデバイス位置からのオフセットとしてモデル化され得る。以下でさらに論じられるように、オフセットは、キャプチャ時のカメラの有効焦点距離を、その時点でのレンズ焦点位置に対する有効焦点距離を調べることによって、考慮に入れることができる。第１の変換２６２は、単一の画像フレームの異なる部分集合または領域の関係を別に記述することができる。たとえば、第１の変換２６２の異なる部分または成分は、フレームの異なる走査線が実世界のシーンにどのようにマッピングされるかを記述してもよい。デバイス位置、ＯＩＳモジュール位置、被写体距離（例えば、カメラから合焦された被写体の距離）、およびレンズ焦点位置はすべて、測定タイムスタンプを使用して整列させ、必要に応じて補間して、フレームの個々の走査線の露出時に正確な位置を提供することができる。オートフォーカスを伴うレンズの場合、焦点位置は、被写体がカメラからどれだけ離れているかに応じて設定される。したがって、レンズ焦点位置と被写体距離との関係を示すマップが存在する。マッピングは、生成および較正されることができ、被写体距離は、空間遷移のための後の計算で使用される。

動きモデル構築部２６０によって生成された第１の変換２６２は、第２の変換２７２を決定する非線形動きフィルタリングエンジン２７０に提供される。この第２の変換２７２は、フレームの画像データを、そのフレームの安定化されたバージョンを表す出力フレームに投影する、第２の射影行列Ｐ’ｉ，ｊとすることができる。具体的には、第２の変換２７２は、キャプチャされた画像データで演算するのではなく、第１の変換２６２を使用して作成された画像投影Ｐｉ，ｊを出力フレームにマッピングすることができる。いくつかの実現例では、２つの変換２６２、２７２は、次いで、フレームの最初にキャプチャされた画像データで演算し、それを、安定化された出力フレームに直接マッピングする、単一の変換に結合され得る。

動きを効果的に安定させるために、非線形動きフィルタリングエンジン２７０は、処理されるフレームのキャプチャ後に将来生じる動きを考慮に入れるよう、第２の変換２７２を生成することができる。例えば、分析中の現在のフレームについて、記録デバイスの位置は、前のフレームから有意に移動していない場合がある。それにもかかわらず、エンジン２７０が、有意な動きが将来のフレームに生じると判断する場合、第２の変換２７２は、現在のフレームをシフトするかまたは別様に変更して、目に見える動きをビデオに導入するように生成され得、したがって、大きな将来の動きが、急激な変化ではなく、一連の漸次的な変化として拡散され得る。同様に、将来のフレームの安定化がクロッピングまたは他の変化をもたらす場合、第２の変換２７２は、一連のフレームにわたって、より漸次的かつ一貫した変化のために、それらの変化を以前のフレームに少なくとも部分的に伝搬するように生成され得る。

非線形フィルタリングエンジン２７０は、フレームに対する仮想カメラ位置から第２の変換２７２を生成することができる。露出が生じたときのカメラの実際の位置を表すのではなく、仮想カメラ位置は、記録されているビデオを安定させるであろう、デバイス１０２の調整されたまたは仮想的な姿勢を表すことができる。仮想位置は、仮想カメラを配置するための所望の位置、例えば、シーンの特定のビューまたはパースペクティブをシミュレートするであろう位置を表すことができる。概して、任意のカメラ位置は、グローバルな基準フレームに対するその回転および並進によって表され得る。仮想カメラ位置は、回転行列、例えば基準位置に対する回転オフセットを示す行列として表すことができる。これは、３つの回転軸に対する回転オフセットを示す３×３行列であってもよい。いくつかの実現例では、ＥＩＳモジュールの安定化処理は、回転成分に関してのみ位置を定義するが、これは、それらが一般にハンドヘルドビデオの安定性に最大の影響を与えるからである。

フレームに対する仮想カメラ位置は、ビデオ安定化を強化し、歪みおよび動作を補正し、パニングを容易にし、および他の態様でビデオを強化するよう、推定されるカメラ位置に対する調整を反映することができる。フレームに対する仮想カメラ位置は、様々な要因に基づいて調整される初期カメラ位置を生成することによって判断され得る。例えば、仮想カメラ位置の調整は、フレームの前後に検出された動きに基づくデバイス位置のフィルタリングを通じて、フレーム内のぼけの量に基づいて、パニングが発生している可能性に基づいて、将来のフレーム内の動きに備えるよう、調整を通じて、および／または画像データが出力フレーム全体をカバーすることを確実にするために、行われ得る。様々な要因は、フレームに対する最終仮想カメラ位置を判断するために変更、混合、または他の態様で使用される、そのフレームの一連の仮想カメラ位置を生成することによって、考慮することができる。

ちょうど変換２６２、２７２が異なる走査線に対して異なるマッピングを有することができるように、フレームの異なる走査線に対して異なる仮想カメラ位置を判断して、フレームキャプチャ中のデバイス位置、ＯＩＳモジュール２１５ａ～２１５ｂの位置、および／またはレンズ焦点位置の変化について調整することができる。したがって、フレームの異なる部分に対して異なる仮想カメラ位置を使用することができる。効率のために、第２の変換２７２の仮想カメラ位置および対応する成分は、画像センサの走査線の適切な部分集合について計算され得、次いで、適切なデータが、残りの走査線について補間され得る。以下の様々な例では、簡潔にするために、画像センサの中央走査線などの単一の走査線について論じる。仮想カメラ位置および対応する射影行列成分を完全に計算するための技術は、画像フレームの複数の走査線に対して、さらには必要に応じて各走査線に対して個々に、使用され得る。

本明細書で使用するとき、デバイス位置とは、たとえば、デバイス位置データ２５０（たとえば、ジャイロスコープデータ）およびデバイス位置データハンドラ２５６の出力によって示されるような、デバイス１０２の位置を指す。このデバイスレベル位置は、第１のカメラ１１０ａのレンズの内部の動きまたはＯＩＳモジュール２１５ａ～２１５ｂの動きを考慮しない、デバイス１０２の姿勢または向きを示す。また、本明細書で使用されるように、カメラ位置とは、カメラの有効なビューまたは推定されるビューに対応する位置を示す。ＯＩＳモジュール２１５ａ～２１５ｂの動作、レンズブリージング、および他の要因によるシフトを考慮することによって、カメラ位置は、デバイス位置とは異なってもよい。さらに、カメラ位置は、仮想位置、例えば、カメラの実際のビューではなく、カメラの強化もしくは変更されたビューを反映する近似または仮想的な位置であってもよい。

次いで、ＥＩＳモジュール２５５は、画像ワーピングエンジン２８０を使用して、非線形動きフィルタリングエンジン２７０の出力を使用し、各キャプチャされた画像フレームを出力フレームにマッピングする。第２の投影２７２は、フレームの各部分が出力空間にマッピングされ、出力フレームの画素の各々が定義されるように、フレームの各走査線に対応する成分を含むことができる。ＥＩＳモジュール２５５の処理は、ビデオのフレームの各々について実行され得る。

図３は、ビデオ安定化のために使用されるデータの例を示す図である。この図は、デバイス１０２によってキャプチャされる一連のフレーム３１０を示す。各フレームは、例えば、露出持続時間、露出基準時間（例えば、露出の開始時間、停止時間、または他の基準点）、レンズ焦点位置などを示す、メタデータ３１２の対応するセットでラベル付けされる。図示されていないが、デバイス位置データおよびＯＩＳモジュール位置データは、各露出中の様々な時間にキャプチャされ、タイムスタンプが付けられる。

フレーム３１１の安定化処理を行うために、フレーム３１１のキャプチャの付近の時間範囲が規定される。この時間範囲またはフレームのウィンドウは、フレーム３１１をどのように変換するかを判断するために分析される。本明細書で使用されるように、フレームの時間「ｔ」は、概して、フレームのキャプチャの基準時間を表すために使用される、中央走査線のキャプチャの時間を指す。（例えば、フレームの中央走査線に対するキャプチャの主時間とは異なってもよい時間を考慮するために、）個々の走査線の時間に言及するとき、その時間はｔ_Ｌで示され、Ｌは特定の走査線のインデックスまたは識別子である。分析中のフレーム３１１の中央走査線の露出時間ｔは、分析に使用される時間範囲の中心として使用することができる。所定の時間オフセットＱを使用して、その範囲、例えば［ｔ－Ｑ，ｔ＋Ｑ］からの時間範囲を設定することができる。いくつかの実現例では、この時間オフセットＱは約２００ｍｓである。その結果、この範囲は、フレーム３１１の前に約７フレームおよび後に約７フレームを含むことになる。より大きいおよびより小さい時間オフセットＱを使用してもよい。ＥＩＳモジュール２５５は、処理中に将来のフレームのコンテキストを使用するので、フレームの処理は、適切な数の後続のフレームがキャプチャされるまで、遅延される。

図３では、フレーム３１１は、（例えば、カメラ１１０ａ～１１０ｂのいずれかのカメラの）画像センサによってキャプチャされるように示されている。上記で説明したように、ＥＩＳモジュール２５５は、フレーム３１１のキャプチャ中のデバイス１０２の実際の位置、ならびにＯＩＳモジュール要素などのカメラ要素の位置およびレンズ焦点位置を示すデータから、第１の変換２６２を定義する。第１の変換２６２を適用した結果は、出力フレームターゲット３３５に関して示される投影された画像３３０である。いくつかの実現例では、第１の変換２６２は、フレーム３１１のキャプチャに対応するデータのみを使用して決定される。変換２６２は、カメラの実レンズ位置に対応し、したがって、投影された画像３３０は、画像データとカメラのビュー内の実際のシーンとの間のマッピングを推定する。

ＥＩＳモジュール２５５は、第２の変換２７２を使用して、フレーム３１１の画像データをさらに調整する。この第２の変換２７２は、仮想レンズ位置、例えば、フレーム３１１をキャプチャするために使用される場合、より安定したビデオをもたらすであろう仮想的な位置に対応する。この第２の変換２７２は、フレーム３１１に適用されると、出力フレーム３３５のためのデータを完全に定義する投影された画像３４０を生成する。

投影された画像３４０を生成する第２の変換２７２は、［ｔ－Ｑ，ｔ＋Ｑ］からの時間範囲内の各フレームに対応するデータから生成されてもよい。この期間にわたるデバイス１０２の位置Ｒ（ｔ）は、例えば、ガウスフィルタを使用してその範囲にわたって動きを平滑化するようフィルタリングすることができる。ここでいう位置の集合Ｒ（ｔ）は、［ｔ－Ｑ，ｔ＋Ｑ］の範囲内で発生する中央走査線キャプチャ時間の各々におけるデバイス１０２の位置を含む集合である。この範囲が、処理されている現在のフレームの中央走査線キャプチャ時間ｔ０と、処理されている現在のフレームの前後の７つのフレームの中央走査線キャプチャ時間とを包含する例を考える。フィルタリングされる位置の集合は集合｛Ｒ（ｔ_－７），Ｒ（ｔ_－６），…，Ｒ（ｔ_－１），Ｒ（ｔ_０），Ｒ（ｔ_１），…，Ｒ（ｔ_６），Ｒ（ｔ_－７）｝となるであろう。時間ｔにおけるフィルタリングの結果、すなわちフレーム３１１の中央走査線の露出は、初期仮想カメラ位置Ｖ_０（ｔ）として使用することができる。フィルタリングを用いても、デバイス位置における望ましくない動き、または望ましくない動きをもたらす他の要因が存在し得る。その結果、初期仮想カメラ位置Ｖ_０（ｔ）は、一連のさらなる動作を通じて更新され得る。いくつかの実現例では、フィルタリングされる位置Ｒ（ｔ）は、ＯＩＳの動きを仮定しない位置であり、したがって、ＯＩＳ位置データ２４８を考慮しないデバイス位置データ２５０に基づくことができる。他の実現例では、ＯＩＳの動きおよびオフセットは、初期仮想カメラ位置Ｖ_０（ｔ）を生成するようフィルタ処理される位置の集合に要素として含められ得る。

例えば、第２の仮想カメラ位置Ｖ_１（ｔ）は、位置Ｖ_０（ｔ）を、将来のフレームにわたって生じる動きの量に基づいて、前のフレームに対する最終カメラ位置ＶＦ（ｔ_ｐｒｅ）で補間することによって生成され得る。最終カメラ位置ＶＦ（ｔ_ｐｒｅ）は、フレーム３１１の直前にキャプチャされたフレームの中央走査線に対する（例えば、記録された出力フレームを生成するために使用される）仮想カメラ位置であり得る。前のフレームのカメラ位置は、最終的な仮想カメラ位置、例えば前のフレームの安定化された出力バージョンを生成するために使用される変換に対応する位置であり得る。補間は、フレーム３１１と前のフレームとの間の動きの目に見える変化を、フレーム３１１と将来のフレームとの間の動きの目に見える変化と整列させることができる。

第３の仮想カメラ位置Ｖ_２（ｔ）は、フレーム３１１内に存在するカメラのモーションブラーの量に基づいて、Ｖ_１（ｔ）を実デバイス位置Ｒ（ｔ）で補間することによって生成され得る。これは、観視者のぶれの知覚を低減するために適用される安定化の量を低減し得る。モーションブラーは一般に除去することができないので、これは、より自然な結果を生成するために、適切なときにビデオの安定性を低下させ得る。

第４の仮想カメラ位置Ｖ_３（ｔ）は、時間範囲［ｔ－Ｑ，ｔ＋Ｑ］にわたってデバイス１０２の一貫した動き中に生じる位置をシミュレートまたは表すために生成され得る。この位置は、ドメイン変換フィルタなどの安定したフィルタを、推定された実際のデバイス位置Ｒ（ｔ）に、時間範囲にわたって適用することによって、決定されてもよい。フィルタは、Ｖ_０（ｔ）を生成するために使用される同じデバイス位置の組に適用されるが、このステップは、異なるタイプのフィルタリングを表す。例えば、Ｖ_０（ｔ）は、平滑化するが、概して、経時的に、推定された実際のデバイス位置の変化に従い、所定の形状またはパターンを課さないフィルタリングを通して生成されてもよい。対照的に、Ｖ_３（ｔ）は、デバイス１０２のユーザによって潜在的に意図されてもよい実質的に線形のパニングまたは他の動きなどの所定の一貫した動きパターンに適合するようデバイスパターンをフィルタリングすることによって、生成される。

第５の仮想カメラ位置Ｖ_４（ｔ）は、Ｖ_３（ｔ）およびＶ_２（ｔ）の補間として生成され得る。ＥＩＳモジュール２５５は、経時的なデバイス位置の変化がデバイス１０２のパニングを表す可能性が高いかどうかを評価し、それに応じて補間を重み付けまたは調整することができる。パニングの可能性が高いと判定された場合、Ｖ_４（ｔ）は推定されたパニング位置Ｖ_３（ｔ）に近い。パニングの可能性が低いと判断された場合、Ｖ_４（ｔ）は位置Ｖ_２（ｔ）により近くなることになる。

第５の仮想カメラ位置Ｖ_４（ｔ）で、ＥＩＳモジュール２５５は、対応する変換が出力フレーム３３５に提供するであろうカバレッジを評価することができる。出力フレーム３３５全体を埋め、いかなる画素も定義されないままにしないことが望ましいので、ＥＩＳモジュール２５５は、仮想カメラ位置Ｖ_４（ｔ）からのシーンのビューを表す射影行列などの変換を決定し、投影された画像が出力フレーム３３５をカバーするであろうことを検証し得る。将来のフレームにおける動きを考慮するために、変換は、将来の画像フレームによってキャプチャされるシーンの部分に適用され得る。変換および対応する仮想カメラ位置Ｖ_４（ｔ）は、現在のフレームおよび将来のフレームの組の各々が、変換を使用してマッピングされるときに、すべて完全に出力フレーム３３５を定義するであろうように、調整され得る。結果として生じる変換は、変換２７２として設定されてもよく、フレーム３１１に対する安定化された出力フレーム３３５を生成するために使用され得る。

いくつかの実現例では、フレーム３１１に対して安定化された出力フレーム３３５を生成することは、フレーム３１１の１つ以上の他の走査線について、時間ｔ_Ｌにおいて露出された走査線Ｌについて説明したＥＩＳ処理技術を実行することを含む。例えば、その処理は、走査線に対して、ある間隔（例えば、１００走査線ごと、５００走査線ごとなど）で、またはある基準点（例えば、フレームを横切る１／４および３／４、またはフレームの上部およびフレームの底部）で、実行されてもよい。仮想カメラ位置および第２の変換２７２がフレーム３１１の走査線の適切な部分集合のみに対して決定されるとき、走査線に対する変換（例えば、射影行列の対応する部分）は、計算された位置間で補間される。このようにして、適切な変換が各走査線に対して決定され、各走査線は、異なる変換が結果として適用されてもよい。いくつかの実現例では、仮想カメラ位置および第２の変換２７２を生成する全処理は、異なる走査線のデータ間の補間に依拠することなく、各フレームの各走査線について行われてもよい。

フレーム３１１が出力フレーム３３５にマッピングされると、その結果が保存され、ＥＩＳモジュール２５５は次のフレームの処理を開始する。プロセスは、ビデオのフレームの各々が処理されるまで継続する。

仮想カメラ位置および結果として生じる変換を生成するために使用される種々の要素は、組み合わせて、または別々に使用することができる。たとえば、実現例に応じて、仮想カメラ位置Ｖ_０（ｔ）～Ｖ_４（ｔ）を作成するために使用される補間および調整のいくつかは省略されてもよい。たとえば、異なる実現例では、フィルタ処理されたカメラ位置Ｖ_０（ｔ）～Ｖ_３（ｔ）のいずれかを用いて、データを出力フレームに投影するための変換を決定し、Ｖ_４（ｔ）をその目的のために使用する代わりとしてもよい。したがって、安定化変換を生成するためにフィルタ処理されたカメラ位置Ｖ_０（ｔ）、Ｖ_１（ｔ）、およびＶ_２（ｔ）のいずれかを使用することは、依然としてビデオの安定性を改善し得る。同様に、Ｖ_３（ｔ）は、パニングが生じているビデオを安定化するのに有効であってもよい。多くの他の変形例が、議論される異なる要素の部分集合を考慮に入れる場合であっても、本開示の範囲内である。

論じられる技術は、様々な方法で適用され得る。例えば、２つの変換２６２、２７２を画像データに順次適用するのではなく、記録デバイスは、両方の組合された効果を反映する単一の組合された変換を生成することができる。したがって、変換２６２、２７２を使用して安定化された画像データを生成することは、変換２６２、２７２を直接適用するのではなく、画像データを安定化するために最終的に使用されるさらなる変換または関係の生成を包含してもよい。画像安定化のための種々の技術が説明され、ここに引用により援用する、２０１９年１０月２９日に発行された米国特許１０，４６２，３７０で論じられる技術等の他の技術が、加えて、または代替として、使用されることができる。

図４は、図１Ａ～図１Ｂのデバイス１０２による処理の追加の例を示すブロック図である。そのうちのいくつかが再び図４に表される図２に示される要素に加えて、デバイス１０２は、図４に表される追加の機能を提供するためのハードウェアおよび／またはソフトウェア要素を含むことができる。

デバイス１０２は、ズームレベルにおいて要求された変更を示すデバイス１０２へのユーザ入力を処理するズーム入力処理モジュール４１０を含むことができる。デバイス１０２がビデオをキャプチャするとき、たとえＥＩＳが使用中でも、デバイス１０２は、ズームレベルを変更するためのユーザ入力を受信することができる。これは、画面上スライダ制御を移動させる入力、タッチスクリーン上のジェスチャ、または他の入力を含むことができる。１．０ｘのズームレベルは、ＥＩＳが使用状態でカメラ１１０ａを使用して利用可能な最も広い視野を表すことができる。これは、ＥＩＳ処理のためにマージンを提供するよう、ネイティブ画像センサ解像度のクロッピングされたセクションであってもよい。モジュール４１０は、ユーザ入力に基づいて所望のズームレベルを判断して、例えば、現在のズームレベル（例えば、１．０ｘ）から変更または所望されるズームレベル（例えば、２．０ｘ）に移動することができる。

要求されたズームレベルを示すデータは、ビデオ記録に使用されるカメラを切り替えるかどうかを判断するカメラセレクタモジュール４２０に提供される。例えば、カメラセレクタモジュール４２０は、カメラ間の遷移が生じるべきズームレベルを示す記憶されたカメラ遷移閾値４３０を受信および使用することができる。例えば、第２のカメラ１１０ｂは、１．７ｘのズームレベルに対応する視野を有することができ、遷移閾値は、１．８ｘのズームレベルに設定されることができる。カメラセレクタ４２０は、所望のズームレベル２．０が１．８ｘ閾値を満たす（例えば、閾値以上である）と判断し、したがって、カメラの変更は、１．８ｘ以降のズームレベルを表すキャプチャから適切である。ズームイン（例えば、視野を狭くする）のための第１の閾値、およびズームアウト（例えば、視野を拡大する）のための第２の閾値等、複数の閾値が定義されてもよい。これらの閾値は異なり得る。例えば、第１の閾値は１．８であり得、第２の閾値は１．７であり得、したがって、遷移点は、ユーザがズームインしているかまたはズームアウトしているかに応じて異なる。

いくつかの実現例では、カメラ１１０ａ、１１０ｂ間の切り替えは、単にしきい値を超えることによって制御される。デバイスがカメラ１１０ｂを使用してビデオを記録しており、ユーザが、より広角のカメラ１１０ａを代わりに使用するよう切り替えを引き起こすレベルにズームアウトを開始する状況を考える。ズームイン時にカメラ１１０ａからカメラ１１０ｂに切り替えるための閾値を１．８ｘとし、カメラ１１０ｂが使用できる最低ズーム位置を１．７ｘ（例えば、現在のカメラ１１０ｂの全最大視野を表すズームレベル）とする。その結果、ズームアウト時には、遷移はズームレベル１．７ｘでなされなければならず、なぜならば、第２のカメラ１１０ｂはそれよりも広い視野を提供できないからである。この状況に対処するために、ズームレベルが１．９ｘに低減されると、カメラ１１０ａは、出力フレームがカメラ１１０ｂによって出力される現在の画像データに依然として基づいているにもかかわらず、画像データのストリーミングを開始する。これは、例えば、１．９ｘから１．８ｘへのズームレベル遷移中に、両方のカメラ１１０ａ、１１０ｂがシーンの画像データをキャプチャおよびストリーミングしている期間を提供する。これは、カメラ１１０ａでキャプチャを初期化するための調整期間を提供するので、カメラ１１０ａは「ウォームアップ」することができ、オートフォーカス、オート露出、および他のプロセスが収束し始めることになる。この調整期間は、カメラ１１０ａの設定に対するマージンを提供して、カメラ１１０ａの設定およびキャプチャが初期化および整列されて、切り替え前にカメラ１１０ａによって現在使用されているものとマッチするようにしてもよい。

このようにして、デバイス１０２は、現在のズームレベル、ズーム変更の方向、およびデバイス１０２とのユーザ対話などの要因に基づいて、カメラ間の切り替えの必要性を予測し、それに備えることができる。例えば、ズームを１．９ｘに減少させるように命令するユーザ入力に基づいて、カメラ切り替えが必要とされる可能性が高いことを検出すると、デバイス１０２は、遷移が目標とされるズームレベルをユーザが命令する前に、またはそれが必要になるときに、使用されるべき次のカメラ１１０ａでキャプチャを開始する設定を命令することができる。例えば、１．９ｘのズームレベルがユーザによって指示されたときにデバイス１０２がビデオキャプチャおよび設定調整を開始し、ユーザが１．８ｘのズームレベルを指示するときまでにカメラ１１０ａが準備ができて所望の設定で動作している場合、デバイス１０２は、１．８ｘのズームレベルが指示されるとカメラを切り替えることができる。それにもかかわらず、何らかの理由で、１．７ｘのズームレベル（例えば、現在のカメラ１１０ｂの最大視野）が指示される時点までに設定の収束または実施が完了していない場合、デバイス１０２は、ズームレベルが１．７ｘに達したときに切り替えを強制することになる。

カメラセレクタ４２０は、カメラ選択信号または他の制御データをカメラ制御モジュール４４０に提供する。カメラ制御モジュール４４０は、カメラ１１０ａ、１１０ｂからビデオキャプチャパラメータを読み出し、ビデオキャプチャパラメータを設定するよう命令または設定も送信する。ビデオキャプチャパラメータは、例えば、どのカメラ１１０ａ、１１０ｂが画像データをキャプチャしているか、フレームキャプチャのレート（例えば、２４フレーム／秒（ｆｐｓ）、３０ｆｐｓ、６０ｆｐｓなど）、露出設定、画像センサ感度、（例えば、画像キャプチャの前または後に適用される）ゲイン、画像キャプチャ時間（例えば、各走査線がフレーム中に光をキャプチャする有効な「シャッタ速度」または持続時間）、レンズ開口サイズ、被写体距離（例えば、カメラから合焦された被写体の距離）、レンズ焦点位置または焦点距離、ＯＩＳステータス（例えば、ＯＩＳが有効にされているか否か、使用されるＯＩＳのモードなど）、ＯＩＳレンズ位置（例えば、水平および垂直オフセット、回転位置など）、適用されるＯＩＳの強度またはレベルなどを含むことができる。カメラ制御モジュール４４０は、一般的なビデオキャプチャのためのこれらおよび他のビデオキャプチャパラメータ、例えば露出、フレームレート等を設定することができる。カメラ制御モジュール２３２はまた、較正データ２３２を受信するかまたはそれにアクセスすることができる。較正手順は、デバイスの製造および品質保証の一部として、各デバイスについて、例えばデバイス１０２について行うことができる。較正データは、例えば、カメラ１１０ａ、１１０ｂの互いに対する関係、異なるレンズ位置に対するレンズ焦点位置と被写体距離（例えば、焦点面の距離）との間の関係などを微調整するためのデータを示すことができる。

カメラ制御モジュール４４０はまた、適切な時間にカメラ１１０ａ、１１０ｂを有効化および無効化して、カメラセレクタ４２０によって示されるカメラ切り替えを生じさせることができる。例えば、入力が１．０ｘから２．０ｘへのズームレベルの変化を示し、カメラセレクタ４２０からのデータが１．８ｘで開始する第２のカメラ１１０ｂへの変更を示す場合、カメラ制御モジュール４４０は、この遷移を生じさせるための制御命令を生成することができる。要求されたズーム速度に関する記憶された情報、およびズームが一貫して実行され得る速度に関する任意の制限を使用して、カメラ制御モジュール４４０は、切り替えを行う時間、例えば、画像出力に反映される漸増的または漸次的なズームが１．８ｘカメラ遷移点に到達する時間を判断する。この遷移のための時間は、デジタルズームが１．８ｘズームレベルに滑らかに到達し得るまで第１のカメラ１１０ａでデータをキャプチャし続ける時間の持続時間またはフレーム数、または１．８ｘズームレベルに到達することをユーザ入力が指定する時間に基づくことができる。

カメラ遷移を予期して、カメラ制御モジュール４４０は、現在のカメラ（例えば、第１のカメラ１１０ａ）からビデオキャプチャパラメータを読み出し、遷移後に使用されるべきカメラ（例えば、第２のカメラ１１０ｂ）のための対応するビデオキャプチャパラメータを設定することができる。これは、同じフレームレート、同じ露出レベル、同じレンズ開口、同じ焦点距離、同じＯＩＳモードまたはステータス（例えば、有効とされるかどうか）などを設定することを含むことができる。概して、カメラ間の遷移の前には、両方のカメラ１１０ａ、１１０ｂが能動的にビデオデータを同時にキャプチャしている期間がある。例えば、第１のカメラ１１０ａから第２のカメラ１１０ｂに切り替える場合、ズームレベルが、記録されたビデオのためにカメラ１１０ｂの出力を使用するよう切り替えるための閾値に達する前に、カメラ１１０ｂは開き、ビデオキャプチャを開始することになる。設定のための初期値は、カメラ１１０ａに現在使用されている設定の値に基づく。カメラ１１０ｂは、例えば所望の動作モード（例えば、適切な開口設定、正しい焦点距離設定、正しいＯＩＳ設定など）に収束するよう、指示された設定に向けてその動作の調整を開始する。このプロセスは、カメラ１１０ｂまたはデバイス１０２が、正しい焦点距離を判断するためのオートフォーカスプロセスなどを用いて、適切な設定を判断することを含んでもよい。カメラ１１０ｂのために設定の収束や演算が行われた後、録画に使用するビデオストリームは、カメラ１１０ｂが出力するビデオストリームに切り替わることになる。場合によっては、カメラ１１０ａ、１１０ｂのパラメータは同じでなくてもよいが、カメラ１１０ｂのパラメータは、それにもかかわらず、カメラ１１０ａによって使用されているキャプチャのためのパラメータに基づいて設定されてもよく、出力間の一貫性を促進または保つように設定されてもよい。例えば、カメラ１１０ａ、１１０ｂは、同じ開口範囲が利用可能でなくてもよく、したがって、カメラ制御モジュール４４０は、２つのカメラ１１０ａ、１１０ｂに対して同等またはほぼ同等の露出レベルを設定してもよいが、感度／ゲイン、キャプチャ時間（例えば、シャッタ速度）、および開口に対する設定の異なる組み合わせで設定してもよい。カメラ制御モジュール４４０は、遷移されるべきカメラを、適切な設定が、遷移に先立って、そのカメラを記録された最終出力フレームのために使用することに適用される状態で、起動することができ、したがって、画像キャプチャおよび入来ビデオフィードは、遷移時または遷移時より前に利用可能である。

ビデオデータは、画像処理モジュール４５０を使用して処理される。このモジュール４５０は、ビデオキャプチャのために現在選択されているカメラ１１０ａ、１１０ｂからストリーミングされるキャプチャされたビデオフレームを受信することができる。モジュール４５０はまた、ジャイロスコープ、慣性測定ユニット（ＩＭＵ）、加速度計などのデバイス位置センサからセンサデータを受信する。モジュール４５０はまた、（例えば、カメラ制御モジュールまたはメモリから、）ビデオフレームをキャプチャするために使用されるパラメータを示すビデオキャプチャパラメータ値も受信する。これは、各フレームについて、さらにはフレームの異なる部分について、さらにはフレームをキャプチャまたは読み出すプロセス内の特定の走査線または時点について、ＯＩＳ要素位置、カメラ焦点位置、被写体距離、フレームキャプチャ時間、シャッタ速度／キャプチャ持続時間などを示すメタデータを含むことができる（図２、チャート２５２参照）。モジュール４５０はまた、デジタルズームレベル（例えば、倍率レベル、等価レンズ焦点距離、結果として生じる視野、クロッピングのレベルなどとして表されてもよい）を示すデータも受信する。画像処理モジュール４５０は、キャプチャされた画像フレームに変換を適用して、ローリングシャッタ、ＯＩＳシステムの動き、フォーカスブリージングなどによるアーチファクトを除去する。例えば、モジュール４５０は、ビデオフレームを取得し、フレームをキャプチャしたカメラの正準空間に変換または投影することができ、正準空間では、フレームのキャプチャの時変局面（例えば、ＯＩＳ要素の動き、ローリングシャッタなど）が除去される。

モジュール４５０は、画像フレームが第１のカメラ１１０ａまたは第２のカメラ１１０ｂでキャプチャされたかどうかにかかわらず、画像フレームを第１のカメラ１１０ａの正準カメラ空間に変換することができる。たとえば、第２のカメラ１１０ｂを使用してキャプチャされた画像の場合、モジュール４５０は、デバイス上のカメラ１１０ａ、１１０ｂの位置間の空間的差異およびカメラ１１０ｂの焦点位置などの他の要因を補正することによって、データを第２のカメラ１１０ｂの正準空間から第１のカメラ１１０ａの正準空間に変換する。これは、シーンのビューが両方のカメラ１１０ａ、１１０ｂから記録されたビデオにわたって一貫するように、第２のカメラ１１０ｂを使用してキャプチャされた画像データを第１のカメラの視野の部分に整列させることができる。この技術は、図５Ａ～図５Ｃおよび図６に関して以下でさらに論じられる。

デバイス１０２は、主カメラの正準空間に変換された画像データを受信および処理するＥＩＳ処理モジュール４６０を含むことができる。「主カメラ」とは、複数のカメラのうち、他のカメラの基準として予め指定されたカメラのことである。例えば、主カメラは、最も広い視野を有する第１のカメラ１１０ａとすることができ、任意の他のカメラ（例えば、第２のカメラ１１０ｂ）の出力は、第１のカメラ１１０ａの正準空間に変換またはマッピングすることができる。モジュール４５０は、両方のカメラ１１０ａ、１１０ｂの画像データを、フレーム内の時間依存変動（例えば、フレームの異なる走査線のキャプチャ時間、デバイス位置、ＯＩＳ位置等の差異）を補償した共通の標準化された正準空間にマッピングする。これは、ＥＩＳ処理モジュール４６０がフレーム内の時変キャプチャ特性を考慮に入れる必要性をなくすことによって、ＥＩＳ処理を著しく簡略化する。それはまた、単一のＥＩＳ処理ワークフローが、カメラ１１０ａ、１１０ｂのいずれかを使用してキャプチャされたビデオデータのために使用されることを可能にする。ＥＩＳ処理モジュール４６０は、潜在的にはフレームごとに、望ましいズーム設定、例えばズームレベルまたは視野も、受信する。これにより、ＥＩＳ処理モジュールは、適切な量の安定化を、フレームごとに、フレームに使用されるズームのレベルに従って、適用することが可能になる。ズームレベルが増加し、画像が拡大されるにつれて、カメラの動きの影響も拡大される。したがって、ＥＩＳ処理モジュール４６０は、ズームレベルが増加するにつれて、より強い安定化を適用して、出力ビデオにおいてほぼ一貫した安定性のレベルを維持することができる。ＥＩＳ処理モジュールは、図２および図３に関して上で説明されたＥＩＳ処理技術のいずれかまたはすべてを使用することができる。安定化は、画像データを主カメラの正準画像空間から仮想カメラ空間に投影すると考えることができ、画像データは、あたかもカメラがビデオキャプチャ中に実際のカメラが有するよりも滑らかな動きの軌道を有するかのように、出力をシミュレートするよう変換される。

ＥＩＳ処理モジュール４６０がフレームの画像データを安定化した後、そのフレームの画像データは出力され、および／またはデータ記憶装置（例えば、フラッシュメモリなどの不揮発性記憶媒体）に記録される。モジュール４１０、４４０がフレームについて判断するズームレベルは、フレームに必要とされるデジタルズームレベルをクロッピング、アップスケール、または他の態様で適用するために使用され得る。これらの技術の結果として、デバイス１０２は、キャプチャ中に２つのカメラ１１０ａ、１１０ｂの間でシームレスに遷移することができ、その遷移は、ユーザによって設定されたズームレベルに基づいてデバイス１０２によって自動的に管理される。したがって、結果として生じるビデオファイルは、ビデオファイルを通して散在される、異なるカメラ１１０ａ、１１０ｂを使用してキャプチャされたビデオセグメントを含むことができ、データは、両方のカメラ１１０ａ、１１０ｂからのセグメントにわたって一貫したＥＩＳ処理を維持しながら平滑なズーム遷移を示すよう整列および変換される。

デバイス１０２は、ビデオ出力および／または記録モジュール４７０を含むことができる。ビデオ出力および／または記録モジュール４７０は、ＥＩＳ処理モジュール４６０の出力を受信し、これを、ビデオファイルとしてデバイスにローカルに、および／または遠隔で格納するために、提供するよう構成されてもよい。加えて、または代替として、ビデオ出力および／または記録モジュール４７０は、出力をストリーミングして、デバイス１０２上にローカルに、および／または例えばネットワークを介して別の表示装置に遠隔で、表示してもよい。

図５Ａ～図５Ｃは、マルチカメラビデオ安定化のための技術の例を示す図である。以下で説明する例では、カメラ１１０ａ、１１０ｂの一方が主カメラとして指定され、他方が副カメラとして指定される。以下に論じられる処理および変換を通して、記録されたビデオが副カメラを使用してキャプチャされると、副カメラの出力は、主カメラの正準空間にマッピングされる。説明を明確にするために、第１のカメラ１１０ａは主カメラとして使用され、第２のカメラ１１０ｂは副カメラとして使用される。これは、これらの例では、より広い視野を有するカメラが主カメラとして指定されることを意味する。これはいくつかの実現例では望ましいが、必須ではない。代替として、これらの技術は、狭い視野を有するカメラを主カメラとした状態で、使用されてもよい。

一般に、ホモグラフィ変換は、あるカメラ空間から別のカメラ空間に変更するために使用される変換である。表記ＡＨＢは、点をカメラ空間Ｂからカメラ空間Ａに変換するホモグラフを表す。仮想カメラとは、（ユーザに渡される、および/またはビデオファイルに記録される）最終的なシーンが生成される仮想カメラなどの合成カメラビューを指す。この有効カメラ位置は、可能な限り多くの時間的および空間的連続性を提供するために、典型的にはビデオ全体の持続時間にわたって安定化される（例えば、位置および向きにおいて可能な限り静止しているように見える）ことになる。本明細書で使用されるようにとおりでは、「主」カメラは、出力ビデオを生成するための基準フレームを定義するために使用される主たるカメラである。主カメラは、仮想カメラと空間的に同じ位置に位置するように定義され得るが、時間的に同じ位置に位置しなくてもよい。以下のほとんどの例では、第１のカメラ１１０ａが主カメラとして使用される。副カメラは、主カメラと対になっている。副カメラは、仮想カメラから空間的に離れるように定義され、副カメラの出力は、副カメラが先行カメラである場合、仮想カメラ空間に移動される（warped）ことになる。以下のほとんどの例では、第２のカメラ１１０ｂが副カメラとして使用される。「先行カメラ」は、ビデオキャプチャのために現在開いているカメラ、例えば、保存された出力ビデオを生成するために現在の画像データが使用されているカメラを指す。「後続カメラ」は、先行カメラと対にされる。後続カメラは、現在、ビデオキャプチャのためにオープンまたはアクティブではない。それにもかかわらず、後続カメラの出力が実際に出力カメラで使用されるかまたは出力カメラに保存される前に、先行カメラとしてステータスを取得することを予期して、後続カメラがビデオをキャプチャし始める起動期間があり得る。正準カメラは、経時的に変化しない固定された固有パラメータを有する概念的なカメラであり、例えば、正準カメラは、ＯＩＳの動作またはボイスコイルモータ（ＶＣＭ）レンズシフト（焦点合わせのためなど）の影響を受けない。カメラの各々について、正準カメラ（および対応する画像空間）、例えば、正準主カメラ空間および正準副カメラ空間がある。

これらのパラメータは、カメラ１１０ａ、１１０ｂのうちのどれがキャプチャのために使用されているかに応じて、２つの異なる使用事例につながる。主カメラが先行している場合、画像データを物理カメラの空間と空間との間でマッピングする空間移動は必要とされない。合成ズームおよびＥＩＳ処理は、単に主カメラに対するＥＩＳ処理で行うことができる。他方、副カメラが先行している場合、システムは、２つのカメラ１１０ａ、１１０ｂによるキャプチャ間の切り替えにわたる一貫性のために、空間移動を適用して、出力を主カメラの視点にマッピングする。これは、２つのカメラ１１０ａ、１１０ｂの出力間の一貫性を再び保つために、焦点距離または被写体距離を変更するシーンにおける焦点の変化を考慮する。

記録中にデジタルズームを提供する課題の１つは、特に、上述のような複数のカメラを使用する増分ズームまたは連続ズームのタイプに関して、ＥＩＳ処理をデジタルズーム機能とともに効率的に組み込むことである。ビデオキャプチャ中、デバイス１０２は、ＥＩＳ処理が、一連の時間的に安定化された画像シーケンスを取得するよう有効にされた状態で、ビデオを記録することができる。デバイス１０２は、ズーム機能およびＥＩＳ機能のためにホモグラフィを連結して、この効果を達成することができる。

ＥＩＳ用のホモグラフィと、複数のカメラを用いたデジタルズーム用のホモグラフィとは、異なる目的を果たす。ＥＩＳのためのホモグラフィは、画像データを、画像センサの現在の（例えば実際の）出力フレーム（下付き文字「Ｒ」または「real」によって示される）から仮想フレーム（下付き文字「Ｖ」または「virt」によって示される）に変換する。以下の様々な等式および式において、変数ｔ（例えば、小文字ｔ）は、フレームのタイムスタンプであり、これは通常、フレームの中央走査線のキャプチャの時間に関連する。しかしながら、異なる走査線が、異なる時間にキャプチャされるため、他の走査線に対するタイムスタンプは、変動し得る。（例えば、フレームフレームの中央走査線に対するキャプチャの主時間とは異なる時間を考慮するために）個々の走査線の時間に言及するとき、時間はｔ_Ｌで示され、これは走査線Ｌのキャプチャタイムスタンプの時間を表す。ローリングシャッタを有するカメラを使用するとき、フレームの各走査線に対するタイムスタンプはわずかに異なり、したがって、項ｔ_Ｌは、異なる走査線に対してわずかに異なり得、また、カメラ位置も、異なる走査線に対してわずかに異なり得る。異なる項Ｔ_Ｅは、主カメラ１１０ａと副カメラ１１０ｂとの間の外部並進（extrinsic translation）を指し、いかなるタイムスタンプも表さないことに留意されたい。同様に、ｎ^Ｔは、以下で論じられる平面ノルム（plane norm）であり、外部並進および時間項とは無関係である。

ＥＩＳホモグラフィは、^ＶＨ_ＲまたはＨ_ｅｉｓとして示される。ＥＩＳからのホモグラフィは、現在のまたは「実際の」フレームからの点を３Ｄ空間に投影解除し、次いで、それを仮想空間に投影し戻すことによって、データを現在のまたは「実際の」フレームから仮想フレームに変換するよう構成される。このホモグラフィは、以下のように表すことができる：

式１において、Ｒ_Ｖは仮想カメラの３×３回転行列を表し、Ｒ_Ｃは現在使用されている実カメラ１１０ａ～１１０ｂの３×３回転行列を表し、Ｒ_ＣおよびＲ_Ｖは両方ともカメラ位置データ（例えば、ジャイロスコープデータ）から得ることができる。Ｋは内部行列であり、Ｋ_Ｖは仮想カメラの内部行列であり、Ｋ_Ｃは現在のカメラ（例えば、カメラ１１０ａ～１１０ｂのどちらが使用されていようとも）の内部行列である。カメラ内部データ（例えば、カメラ形状、較正データ、およびカメラ特性に基づく）は、１つ以上のデータ記憶装置２３０に記憶され、そこから取り出され得る。内部行列は、下記の式２のように表すことができる。

式２において、ｆは焦点距離であり、ｏ_ｘおよびｏ_ｙは主点である。上記の式において、Ｒ_Ｃ、Ｒ_ＶおよびＫ_Ｃ ^－１は時間依存性であり、時間ｔの関数として示される。これらの値は、時間的連続性を保証するために、以前のフレームまたは以前の出力フレーム生成プロセスのための情報を保持するかまたはそれに基づくことができる。Ｒ_Ｖは、仮想空間のための３×３回転行列であり、過去の仮想カメラフレームの軌道のフィルタに基づいて計算され、遅延および「先を見る」戦略が使用される場合には、潜在的に、いくつかの将来のフレームに対しても計算される。Ｒ_Ｃは、現在のフレームのための３×３回転行列であり、現在のフレームを第１のフレームに変換するジャイロスコープまたはデバイス位置センサ２２０からのデータに基づいて計算される。Ｋ_Ｃ ^－１は、光学主中心と現在のＯＩＳ値とに基づいて算出される。

ズーム処理のためのホモグラフィは、あるカメラ１１０ａのビューから別のカメラ１１０ｂのビューに変換される。たとえば、このホモグラフィは、主カメラ１１０ａの現在のフレームから、副カメラ１１０ｂのフレームに変換し、^mainH_secとして示される。このホモグラフィは、このホモグラフィを計算するために４点手法を使用して計算してもよいが、このホモグラフィをユークリッドホモグラフィとして単純化することによって、行列自体も以下のように分解することができる：

副カメラ（例えば、望遠カメラ１１０ｂ）画像上の点P_secを、主カメラ（例えば、広角カメラ１１０ａ）画像上の対応する点P_mainに、Ｓの任意のスカラーまでもたらす、ユークリッドホモグラフィ変換を仮定すると、このホモグラフィ行列は以下のように分解することができる：

この式において、Ext(t)は外部変換であり、それは、平面の深さに依存する行列である：

その結果、組み合わせは以下のように示される：

式４において、ｎ^Ｔは平面ノルム（例えば、焦点面に垂直なベクトル）であり、Ｄは焦点面が位置する深さまたは距離である。変数Ｒ_ＥおよびＴ_Ｅは、主カメラ１１０ａと副カメラ１１０ｂとの間の外部回転および外部並進をそれぞれ示す。

変数K_mainおよびK_secは、主カメラ１１０ａおよび副カメラ１１０ｂの内部行列であり、これらは、上述したＥＩＳホモグラフィと同じフォーマットを有する。式４において、K_main、K_sec、Ｄは時間依存である。しかしながら、ＥＩＳ定式化における対応するバージョンとは異なり、K_main、K_sec、およびＤは、ズーム定式化において過去の情報を保持しない。K_mainおよびK_secは両方とも、フレームごとに変化する、（例えば、ＯＩＳ位置データ２４８ａ～２４８ｂを使用する）現在のＶＣＭ値およびＯＩＳ値に基づいて計算される。変数Ｄは、オートフォーカス中の焦点距離値に関連し、ビデオキャプチャおよび記録中に時間とともに変化してもよい被写体距離に対応する。上述のように、被写体距離は、カメラのために選択された現在の焦点に対する、デバイス１０２からの焦点面の距離を指す。被写体距離は、例えば、焦点位置データ２４６ａ～２４６ｂからのカメラの焦点位置と、合焦された被写体がカメラセンサ面からどれだけ遠くにあるかを示す被写体距離に対する焦点設定または焦点要素位置の対応を示すルックアップテーブルなどの較正データとを使用して判断することができる。カメラ１１０ａ、１１０ｂ間の位置のオフセットを前提として、キャプチャされた画像間の関係は、被写体距離に応じていくらか変動し得、変換は、被写体距離、レンズ焦点位置、および／または他のデータを使用して、これらの影響を考慮することができる。

上記の２つのホモグラフィ分解は、一連の動作、すなわち、（１）ソースカメラから投影解除すること、（２）ソースカメラからワールド３次元基準フレームに変換すること、（３）ワールドからターゲット３次元基準フレームに変換すること、（４）ターゲットカメラに再投影して戻すこと、としてまとめることができる。これらは、以下の表１に要約され、図５Ａ～図５Ｃおよび図６に関しても論じられる。

次のセクションは、ズームホモグラフィとＥＩＳホモグラフィとを効果的かつ計算効率の良い態様で組み合わせるための技術を説明する。使用可能な技術の１つは、１つのカメラ、典型的には最も広い視野を有するカメラを主カメラとして設定し、処理された出力を主カメラに関してマッピングすることである。

主カメラ（例えば広角カメラ１１０ａ）がビデオキャプチャに使用される場合、項^mainH_secは恒等である。その結果、結合されたホモグラフィは、式７に示されるように、単純にＥＩＳホモグラフィH_eisであり得る。

項Ｒ_Ｄは、ジャイロスコープまたは他の動きセンサからのデータに基づいて計算されたデバイス回転を示し、主カメラ１１０ａおよび副カメラ１１０ｂの両方について同じ値を有する。

具体的には、３つのホモグラフィ変換は以下の通りである：
●^sec_canH_sec：（０，０）ＯＩＳ運動、０ローリングシャッタ時間、固定焦点距離、およびフレーム中心での回転を伴う、実際の副カメラから正準副カメラ空間への変換。

ここで、R_sec ^-1(t)*K_sec ^-1(t)は、必要とされるものに応じて、各走査線またはフレーム中心から取得され、これは、所与のＯＩＳ／ＶＣＭ値と協働することになる。R_{sec_can}(t)は、各走査線におけるR_sec ^-1(t)とは反対に、フレーム中心における回転である。
●^main_canH_{sec_can}：正準副カメラから正準主カメラ空間への変換。

この式において、Ext(t)は、被写体距離（例えば、カメラセンサからの焦点面の空間における深さ）に依存する行列である外部変換である：

ここで、ｎ^Ｔは平面ノルムであり、Ｄは平面ｎ^Ｔの深さであり、Ｒ_ＥおよびＴ_Ｅは、副カメラと主カメラとの間の外部回転および並進である。
●^virtH_{main_can}：正準副カメラから安定化された仮想カメラ空間への変換であり、この回転はＥＩＳアルゴリズムによってフィルタリングされる。

R_{main_can}=R_{sec_can}は、フレーム中心における現在の実際のカメラ回転であることに留意されたく、なぜならば、主カメラおよび副カメラは互いに強固に取り付けられるからである。

３つのホモグラフィを連結すると、最終的なホモグラフィが得られる：

ここで、中間項^main_canH_{sec_can}はズーム処理に由来する。
主カメラが先行している場合、最終的なホモグラフィは、ＥＩＳ処理のためのホモグラフィだけに単純化する。
上記の式は次式となる：

これは、^main_canH_{sec_can}＝恒等を設定し、上記の式は、元のH_eis式になる：

上記のセクションから、概して、２つの式を有することになる：
副カメラが先行しているとき、式は以下の通りである：

主カメラが先行しているとき、式は以下の通りである：

エンジニアリングの観点から、ＥＩＳの実現中、副カメラは存在せず、したがって、すべての仮想カメラは、現在の先行カメラ上に位置し、これは、元のＥＩＳパイプラインについて以下を意味する：
主カメラが先行しているとき、

副カメラが先行しているとき、

ＥＩＳの基本式から、

項Ｋ_Ｖは常に現在のカメラと同じに定義され、定義によれば、K_{v_main}とK_{v_sec}との間の唯一の差は、２つのカメラ間のＦＯＶである（仮想カメラは画像の中心に配置されるので、主点は同じである）。

上記の場合に対応するために、システムは、主カメラおよび副カメラにおける視野が切り替え点で互いに一致することを意図的に保証することができる。この視野整合は、すべての動作に先立って、副カメラから主カメラに視野をスケーリングするハードウェアクロッピングを通して効率的に行われ、行列Ｓは、以下の式で使用される。

ソフトウェア側から、ホモグラフィの式は、以下に適合する：

最終的に適用されるホモグラフィは、以下のようになり得る：

その変換は、正準副空間から、正準副空間と同じ視野（例えばスケール）を有するが、カメラ外部因子によって引き起こされるすべての並進／回転が中和された正規化された正準副空間にマッピングする。

副カメラ（例えば、望遠カメラ１１０ｂ）と見なされるカメラがビデオキャプチャに使用されるとき、異なるカメラ１１０ａ、１１０ｂを使用するキャプチャの期間にわたって一貫した画像特性が維持されることを可能にするために、副カメラからのビューを主たるカメラからのビューに変換または投影するために使用される一連の変換がある。これらの変換は、（１）ソースカメラ（例えば、第２のカメラ１１０ｂ）から投影解除して、ＯＩＳモーションおよびローリングシャッタのようなカメラ固有の効果を除去すること、（２）３次元世界等の正準基準フレームに変換すること、（３）正準基準フレームから主カメラ基準に変換すること（例えば、第１のカメラ１１０ａによってキャプチャされるであろうフレームに整列すること）、および（４）主カメラ１１０ａのフレームから電子安定化が適用された仮想カメラフレームに再投影することを含むことができる。変換の順序に基づいて、本技術は、平行化第一または安定化第一で行われ得、それ異なる性能結果をもたらす。図５Ａ～図５Ｃは、第２のカメラ１１０ｂからのキャプチャされた画像を、第１のカメラ１１０ａのために生成される安定化されたビューと整列されかつそれと一貫する安定化されたビューに変換するための異なる技術を示す。

図５Ａは、平行化を第一に実行するマルチカメラビデオ安定化のための例示的な技術を示す図である。この技術は、第２のカメラ１１０ｂ（たとえば、この例では望遠カメラ）からの視界を最初に第１のカメラ１１０ａ（例えば、この例では広角カメラ）に平行化し、次いで安定化を適用する。この技術は、ＥＩＳホモグラフィと主たる副から主へのホモグラフィとの単純な連結によって表されるという利点を提供し、これは、ビデオフィードを処理する効率を高める。これを次式に示す：

図５Ｂは、安定化を第一に実行するマルチカメラビデオ安定化のための例示的な技術を示す図である。このオプションは、副カメラフレームからの画像を安定化された仮想主カメラフレームに安定化し、次いで、平行化を適用して仮想副カメラフレームを主カメラフレームに投影する。しかしながら、この技術は、副カメラから主カメラへの変換が主カメラフレーム座標系において定義されるため、図５Ａの手法ほど単純ではない。したがって、同じ変換を実行するために、安定化された仮想主カメラフレームは、仮想副フレームから回転させて戻るようにしなければならない。これは、以下の式で表され、「virt_main」は主カメラの仮想フレーム（安定化された）を指し、「virt_sec」は副カメラの仮想フレーム（安定化された）を指し、「real_main」は主カメラの実フレーム（安定化されていない）を指し、「real_sec」は副カメラの実フレームを指す。

項目を連結することによって、結果は、図５Ａと同じ全体的な変換である。たとえ異なる幾何学的定義が存在しても、画像に対する全体的な効果は同じである。

図５Ｃは、第一に正準カメラに平行化するマルチカメラビデオ安定化のための例示的な技術を示す図である。上で論じた幾何学定義を使用して、実現例は、現在の実カメラビューから正準カメラビューに平行化することによって、より効率的にすることができ、正準カメラビューは、現在の先行カメラの仮想カメラとして定義されるが、固定ＯＩＳ（ＯＩＳ＿Ｘ＝０，ＯＩＳ＿Ｙ＝０）および固定ＶＣＭ（ＶＣＭ＝３００）を有する。

この結果は、図５Ａの第１の場合における式と同様である。例えば、これは以下を与える：

しかしながら、この場合、K_main ^-1(t)K_main(t)対を挿入する代わりに、K_{main_can} ^-1(t)*K_{main_can}(t)を挿入することになり、ここで、K_{main_can}は、正準主カメラの固有の特性を示す。項 H'_eisおよび ^mainH'_secは、K_{main_can}を使用して計算される。

この手法は、システムが副カメラおよび主カメラの両方のメタデータについて同時に問い合わせる必要がないので、著しい利点を提供する。

組み合わされたホモグラフィ、H_combined は、正準位置表現および走査線単位処理とともに使用することができる。まず、正準位置について説明する。議論された H_eis および ^mainH_sec の元の定義から、システムは、デジタルズーム処理のためのホモグラフィにおいて使用された K_sec および K_main 項の両方についてＯＩＳおよびＶＣＭ情報を使用する。このシステムはまた、ＥＩＳホモグラフィで使用された項Ｋ_Ｃも使用する。

以下の式において、ある変数は、主カメラおよび副カメラのそれぞれについて、現在のＯＩＳ値およびＶＣＭ値に依存する時間依存変数である。これらの時間依存変数は、 K_main ^-1(t), K_main(t), および K_sec ^-1(t)を含む。これらの項の時間依存性は、システムが両方のカメラ１１０ａ、１１０ｂのＯＩＳ／ＶＣＭメタデータの両方を同時にストリーミングする必要があるであろうことを意味する。しかしながら、正準表現を使用すると、データ収集要件を大幅に低減することができる。例えば、項 K_sec ^C および K_main ^Cが、ＯＩＳおよびＶＣＭの両方が所定の標準または正準位置に配置された正準カメラモデルとして定義されることを含み、正準位置は、ＯＩＳＸ＝ＯＩＳＹ＝０およびＶＣＭ＝３００を有する所定の位置である、例示的な表現が以下に示される。元の H_combined = H_eis * ^mainH_secについて、その表現は以下のように分解することができる：

上記の式において、項 C_sec(t) は、現在のカメラビューを正準カメラビューに変換する（例えば、ＯＩＳレンズ位置の影響を除去する）補正行列である。デジタルズームホモグラフィは、第２のカメラ１１０ｂ（例えば、望遠カメラ）からビデオをキャプチャするときにのみアクティブであるため、現在の副カメラビューを正準副カメラビューに変換する、１つの補正行列項 C_sec(t) のみが必要とされる。この新しい式において、K_main ^Cおよび K_sec ^Cは両方とも、デジタルズームのためのホモグラフィについて、経時的に一定である：

結果として、唯一の時間依存成分は D(t) であり、これは、カメラから焦点面までの距離であり得る、焦点のための被写体距離に依存する。したがって、必要とされる唯一の新たなメタデータは、被写体距離であろう。

次に、各走査線の補正について説明する。走査線ごとの補正は、上述の式の右側の別の行列 S(t_L, L) の使用を含むことができる。この追加の行列は、走査線Ｌごとに潜在的に示される異なる調整を用いて、走査線に特定である補正を行うために使用することができる。走査線ごとの補正行列 S(t_L, L) は、（例えば、走査線がキャプチャされた適切な時間のジャイロスコープセンサデータを取得するための）走査線の現在の時間 t_L 、および（例えば、各走査線を中央走査線と整列させるために変形またはシフトを補正するために使用される）走査線番号 L に依存する。その結果、行列 S(t_L, L) は、各走査線 L に対する補正およびその対応するキャプチャ時間 t_L を含むことができる。

元の分解された式から、走査線ごとの補正行列の加算は、以下を与える：

最終的なホモグラフィは、正準位置および走査線ごとの項を加算することによって判断することができる：

この例では、H^C _eis = K_V*R_V(t)* R_D ^-1(t) *K_main ^C-1 は、正準主カメラのみにおける安定化行列を表す。加えて、項 ^mainH^C _sec = K_main ^C* (R_E ^-1 - D(t)*T_E*n^T) * K_sec ^C-1は、正準副ビューから正準主ビューへのホモグラフィを表す。項 C_sec(t) は、現在の副カメラビューを正準副カメラビューにするホモグラフィである。項 S(t_L, L) は、各走査線の変形を中央線の基準位置にもってくる走査線ごとの補正である。

図６は、マルチカメラビデオ安定化を効率的に提供するために使用され得る例示的な変換を示す図である。ＥＩＳと連続ズームとの組合せは、３つのホモグラフィまたは変換の組合せとして解釈され得る。

この例では、画像フレーム６１１は、第２のカメラ１１０ｂによってキャプチャされた画像フレームを表す。図に表される複数の変換を通して、画像データは、視覚的アーチファクト（例えば、ローリングシャッタ、ＯＩＳの動きなど）を除去するように処理され、第１のカメラ１１０ａの視野と整列され、前述のＥＩＳ技術を使用して安定化される。別個の変換６１０、６２０、６３０は、様々な画像６１１～６１４と同様に、例示の目的で示されている。実現例は、中間画像を別に生成する必要なく、論じた動作および機能を組み合わせることができる。

第１の変換６１０は、実際の副カメラ１１０ｂ（たとえば、望遠カメラ）からのキャプチャされた画像６１１に対して動作し、画像６１１を正準の第２のカメラ画像６１２に変換する。変換６１０は、正準の第２のカメラ画像６１２がＯＩＳの動きを含まず、ローリングシャッタを含まず、固定焦点距離を含み、フレーム中心での回転を伴うように、画像６１１の画像データを調整する。いくつかの実現例では、第１の変換６１０は、画像６１１のキャプチャの過程にわたる第２のカメラ１１０ｂの動き、画像６１１のキャプチャの過程にわたる焦点距離の変化、画像６１１のキャプチャ中のＯＩＳシステムの動きなどの影響を除去または低減するために、画像６１１の各画像走査線を個々に調整してもよい。この変換６１０は、^sec_canH_sec、つまり第２のカメラビュー（「sec」）から正準の第２のカメラビュー（「sec_can」）への変換として表される。画像６１１のキャプチャ中にＯＩＳ安定化が使用されてもよいが、画像６１１も画像６１２もＥＩＳ処理を使用して安定化されていない。

第２変換６２０は、正準の第２のカメラ画像６１２から正準の第１のカメラ画像６１３への変換である。これは、画像データを画像６１２の同じ正準空間内に維持することができるが、画像データを、主カメラ、例えば、第１の（例えば、広角）カメラ１１０ａによってキャプチャされるシーンに整列させることができる。この変換６２０は、第２のカメラ１１０ｂと第１のカメラ１１０ａとの間の空間的差異を補正することができる。２つのカメラ１１０ａ、１１０ｂは、それらの間の空間的オフセットおよび潜在的に位置または向きにおける他の差異を伴って、電話または他のデバイス上に位置する。第２の変換６１２は、これらの差異を補正して、画像６１２を第１のカメラ１１０ａの視野の対応する部分に投影することができる。加えて、カメラ１１０ａ、１１０ｂのビュー間の差は、現在の焦点深度に応じて変動し得る。例えば、カメラ１１０ａ、１１０ｂの一方または両方は、焦点距離に応じて有効視野を調整するフォーカスブリージングを経験する場合がある。第２の変換６２０は、これらの差異を考慮に入れることができ、デバイス１０２が、焦点距離を使用して、主カメラ正準視野に対する画像６１２の整列を微調整することを可能にする。典型的には、ＯＩＳ位置等のための同じ正準パラメータが、主カメラ正準表現および副カメラ正準表現の両方のために使用されるが、差異がある場合、これらは、第２の変換６２０を使用することに関して補正されることができる。

第３の変換６２０は、安定化された画像６１４を生成するために、画像６１３にＥＩＳを適用する。例えば、この変換６２０は、正準主カメラビューからの画像データを、カメラ位置が平滑化またはフィルタリングされる仮想カメラビューに変換することができる。例えば、この変換６３０は、図３に関して上で論じた第２の投影とすることができ、仮想カメラ位置が経時的にフィルタリングされ、フレーム間の位置の変化が用いられ、動きがぼやけに起因して潜在的に許容され、パニング対偶発的な動きの可能性が考慮され、出力フレームを満たすための将来の動きまたは調整の適応が実行されるなどする。ＥＩＳ処理は、処理されている現在のフレーム、ならびに前のフレームのウィンドウおよび将来のフレームのウィンドウを使用して実行され得る。当然ながら、ＥＩＳ処理は、処理に必要な「将来のフレーム」を収集する画像キャプチャタイミングから遅れ得る。

上述のように、変換６１０、６２０、６３０は、効率のために組み合わせるかまたは統合することができ、中間画像６１２および６１３を生成する必要はない。むしろ、デバイス１０２は、適切な変換６１０、６２０、６３０を決定し、第１のカメラ１１０ａを使用してキャプチャされた画像から生成された安定化された画像データと整列され、それと一貫する安定化された画像６１４を直接生成してもよい。

図６の例は、第２のカメラ１１０ｂからのビデオフレームから第１のカメラ１１０ａの安定化された空間への変換を示すが、これは、ズームレベルが第２のカメラ１１０ｂの視野と同じかまたはそれより小さい視野に対応するときに使用される。第１のカメラ１１０ａが使用される場合、例えば、視野が第２のカメラ１１０ｂの視野よりも大きい場合、２つの変換のみが必要とされる。第１の変換６１０と同様に、ビデオフレームの異なる走査線に対して変化する条件などの時間依存の影響をキャプチャされた画像から除去するために変換が適用される。変換６１０と同様に、これはローリングシャッタ、ＯＩＳ位置などを補償する。しかしながら、変換は、画像データを主カメラ（例えば、カメラ１１０ａ）の正準カメラ空間に直接投影する。主カメラの正準カメラ空間から、ＥＩＳ変換、例えば、変換６３０のみが必要とされる。したがって、画像データが主カメラを使用してキャプチャされるとき、２つのカメラ１１０ａ、１１０ｂの空間特性を関係付ける必要はなく、なぜならば、全体的な画像キャプチャおよびＥＩＳ処理が、たとえば、主カメラのための正準の非時間依存基準フレームから、主カメラのための基準フレームにおいて一貫して行われるからである。

図６の処理は、第２のカメラ１１０ｂの出力を第１のカメラ１１０ａの安定化された出力に変換またはマッピングするために使用され得る様々なプロセスを示す。これは、ビデオキャプチャおよび記録中に、異なるカメラ１１０ａ、１１０ｂによってキャプチャされたビデオを使用する間に遷移するときのビューにおける一貫性を提供する。例えば、第２のカメラ１１０ｂからのビデオは、第１のカメラ１１０ａからのビデオと整列させられるが、視野を正しい位置に位置決めするだけでなく、ＥＩＳ特性も整合させる。その結果、画像キャプチャ中の（例えば、閾値ズームレベルを上回るまたは下回るデジタルズームによる）カメラ間の切り替えは、ＥＩＳがアクティブである状態で、カメラ１１０ａ、１１０ｂ間の遷移点におけるぎくしゃくした動き、突然の画像シフトまたはビューのシフト、および目に見えるビデオの滑らかさのシフト（たとえば、ＥＩＳ適用における変化）を最小限に抑えるかまたは回避する方法でビデオフィードを整合させて、行うことができる。この技術の別の利点は、カメラ１１０ａからのビデオを、第２のカメラ１１０ｂとの一貫性のためにいかなる調整または処理も伴わずに使用することができることである。第２のカメラ１１０ｂの出力のみが調整され、第１のカメラ１１０ａのビューおよび特性に対して一貫するように整列させられる。

デバイス１０２はまた、異なるカメラ１１０ａ、１１０ｂを使用してキャプチャされるビデオの特性をより良く合致させるように、ビデオキャプチャ中に、ビデオキャプチャ設定を調整することができる。例えば、第１のカメラ１１０ａを使用するキャプチャから第２のカメラ１１０ｂを使用するキャプチャに遷移するとき、デバイス１０２は、遷移の直前に第１のカメラ１１０ａのために使用されている、焦点距離、ＯＩＳパラメータ（例えば、ＯＩＳが有効にされているかどうか、適用されるＯＩＳの強度またはレベルなど）、露出設定（例えば、ＩＳＯ、センサ感度、ゲイン、フレームキャプチャ時間またはシャッタ速度など）などの特性を判断することができる。デバイス１０２は、次いで、第２のカメラ１１０ｂに、それらの設定、または同等の結果を提供する設定を、第２のカメラ１１０ｂのためのキャプチャのために使用させることができる。

これは、第２のカメラ１１０ｂからのビデオを、記録されたビデオに含めるために、遷移に先立って設定変更をなすことを伴い得る。たとえば、動作中に調整を行うための時間を提供するために、デバイス１０２は、カメラ切り替えが適切であるかまたは必要であることを検出し、それに応答して、第１のカメラ１１０ａの現在の設定を判断し、第１のカメラ１１０ａによって使用される設定と同等の設定を使用して開始するように第２のカメラ１１０ｂに命令してもよい。これは、例えば、第２のカメラ１１０ｂの電源を投入し、第２のカメラ１１０ｂのためにＯＩＳシステムの安定化を作動および達成し、第１のカメラ１１０ａの露出に合致するように第２のカメラ１１０ｂの露出を調整し、第１のカメラ１１０ａの焦点位置に合致するように第２のカメラ１１０ｂの焦点位置を設定するなどのために、充分な時間を提供することができる。第２のカメラ１１０ｂが、例えば、第１のカメラ１１０ａのビデオキャプチャパラメータと一貫するビデオキャプチャパラメータを用いて、適切なモードで動作していると、デバイス１０２は、ビデオキャプチャのために第１のカメラ１１０ａを使用することから第２のカメラ１１０ｂを使用することに切り替える。同様に、第２のカメラ１１０ｂから第１のカメラ１１０ａに遷移するとき、デバイス１０２は、第２のカメラ１１０ｂによって使用されるビデオキャプチャパラメータ値を判断することができ、遷移を行う前に第１のカメラ１１０ａのために対応するビデオキャプチャパラメータ値を設定することができる。

いくつかの実現例について説明した。それにもかかわらず、本開示の精神および範囲から逸脱することなく、様々な修正がなされ得ることが理解されるであろう。例えば、上に示されたフローを、ステップを並べ替え、追加し、または除去して、様々な形態で用いてもよい。別の例示的修正として、上記の説明は、主に、画像データの処理が、第１および／または第２のカメラによってビデオをキャプチャしている間に実行されることを説明しているが、いくつかの実現例では、第２のカメラのための第２の正準基準空間への第１の変換、第２の正準基準空間から第１のカメラのための第１の正準基準空間への第２の変換、および第１のカメラのための第１の正準基準空間内の画像データに電子画像安定化を適用するための第３の変換が、代わりに、（デバイス１０２または別の、例えば遠隔デバイスによって、）後で、例えばビデオがもはやキャプチャされていないときに適用されてもよいことが理解されるであろう。

本発明の実施形態および本明細書に記載される機能的動作のすべては、デジタル電子回路において、または本明細書に開示される構造およびそれらの構造的等価物を含むコンピュータソフトウェア、ファームウェア、もしくはハードウェアにおいて、またはそれらの１つ以上の組み合わせにおいて実現され得る。本発明の実施形態は、１つ以上のコンピュータプログラム製品、たとえば、データ処理装置によって実行するために、またはデータ処理装置の動作を制御するために、コンピュータ可読媒体上に符号化されたコンピュータプログラム命令の１つ以上のモジュールとして実現され得る。コンピュータ可読媒体は、機械可読記憶装置、機械可読記憶基板、メモリデバイス、機械可読伝搬信号をもたらす物質の組成、またはそれらの１つ以上の組み合わせであり得る。「データ処理装置」という用語は、例として、プログラマブルプロセッサ、コンピュータ、または複数のプロセッサもしくはコンピュータを含む、データを処理するためのすべての装置、デバイス、および機械を包含する。装置は、ハードウェアに加えて、当該コンピュータプログラムの実行環境を作成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはこれらの１つ以上の組合せを構成するコードを含むことができる。伝搬信号は、人工的に生成された信号、例えば、好適な受信機装置への伝送のために情報を符号化するために生成される、機械生成電気、光学、または電磁信号である。

コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプトまたはコードとしても公知である）は、コンパイル型言語または解釈型言語を含む任意の形式のプログラミング言語で記述され得、それは、スタンドアロンプログラムとして、または、モジュール、コンポーネント、サブルーチン、もしくは、コンピューティング環境で使用するのに好適な他のユニットとして含む、任意の形態で展開され得る。コンピュータプログラムは、必ずしもファイルシステム内のファイルに対応するとは限らない。プログラムは、他のプログラムまたはデータを保持するファイルの一部分（例えば、マークアップ言語ドキュメントに格納された１つ以上のスクリプト）、当該プログラムに専用の単一ファイル、または複数の協調ファイル（たとえば、１つ以上のモジュール、サブプログラム、もしくはコードの一部を記憶するファイル）に記憶することができる。コンピュータプログラムは、１つのコンピュータ、または１つのサイトに位置し、もしくは複数のサイトにわたって分散され、通信ネットワークによって相互接続された複数のコンピュータ上で実行されるように展開され得る。

本明細書に記載されるプロセスおよび論理フローは、入力データを操作し出力を生成することにより機能を実行するよう１つ以上のプログラマブルプロセッサが１つ以上のコンピュータプログラムを実行することによって実行され得る。本プロセスおよび論理フローの実行、ならびに本装置の実施は、たとえばＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）といった特殊目的論理回路系によってもなされ得る。

コンピュータプログラムの実行に好適であるプロセッサは、例として、汎用マイクロプロセッサおよび特殊目的マイクロプロセッサの両方、ならびに任意の種類のデジタルコンピュータの任意の１つ以上のプロセッサを含む。概して、プロセッサは、読み取り専用メモリもしくはランダムアクセスメモリまたは両方から命令およびデータを受信することになる。コンピュータの必須要素は、命令を実行するためのプロセッサ、ならびに命令およびデータを記憶するための１つ以上のメモリデバイスである。一般に、コンピュータはさらに、たとえば磁気ディスク、光磁気ディスクまたは光ディスクといった、データを格納するための１つ以上の大容量記憶装置を含むか、当該１つ以上の大容量記憶装置からデータを受取るかもしくは当該１つ以上の大容量記憶装置にデータを転送するよう作動的に結合されるか、またはその両方を行うことにもなる。しかしながら、コンピュータは、そのようなデバイスを有する必要はない。さらに、コンピュータは、別のデバイス、たとえば、ほんの数例を挙げると、タブレットコンピュータ、携帯電話、携帯情報端末（ＰＤＡ）、モバイルオーディオプレーヤ、全地球測位システム（ＧＰＳ）受信機に組み込まれ得る。コンピュータプログラム命令およびデータを格納するのに好適であるコンピュータ可読媒体は、例として、たとえばＥＰＲＯＭ、ＥＥＰＲＯＭおよびフラッシュメモリデバイスといった半導体メモリデバイスを含むすべての形態の不揮発性メモリ、媒体およびメモリデバイス；たとえば内部ハードディスクまたはリムーバブルディスクといった磁気ディスク；光磁気ディスク；ならびにＣＤ－ＲＯＭおよびＤＶＤ－ＲＯＭディスクを含む。プロセッサおよびメモリは、特殊目的論理回路によって補足され得るか、または特殊目的論理回路に組み込まれ得る。

ユーザとの対話を提供するために、本発明の実施形態は、ユーザに情報を表示するための表示装置、例えば、ＣＲＴ（陰極線管）またはＬＣＤ（液晶ディスプレイ）モニタと、ユーザがコンピュータに入力を提供することができるキーボードおよびポインティングデバイス、例えば、マウスまたはトラックボールとを有するコンピュータ上で実現することができる。他の種類のデバイスを使用して、ユーザとの対話を提供することもでき；例えば、ユーザに提供されるフィードバックは、任意の形態の感覚フィードバック、例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバックであり得；ユーザからの入力は、音響入力、音声入力、または触覚入力を含む、任意の形態で受信され得る。

本発明の実施形態は、たとえばデータサーバとしてバックエンドコンポーネントを含む計算システムにおいて実現され得るか、たとえばアプリケーションサーバといったミドルウェアコンポーネントを含む計算システムにおいて実現され得るか、たとえば本発明の実現例とユーザが対話することが可能であるグラフィカルユーザインターフェイスもしくはウェブブラウザを有するクライアントコンピュータといったフロントエンドコンポーネントを含む計算システムにおいて実現され得るか、または１つ以上のそのようなバックエンドコンポーネント、ミドルウェアコンポーネントもしくはフロントエンドコンポーネントの任意の組合せの計算システムにおいて実現され得る。システムの構成要素は、デジタルデータ通信の任意の形態または媒体、例えば、通信ネットワークによって相互接続することができる。通信ネットワークの例は、ローカルエリアネットワーク（「ＬＡＮ」）および広域ネットワーク（「ＷＡＮ」）、例えばインターネットを含む。

コンピューティングシステムは、クライアントおよびサーバを含むことができる。クライアントとサーバとは一般に互いから遠隔にあり、典型的には通信ネットワークを通じて対話する。クライアントとサーバとの関係は、それぞれのコンピュータ上で実行されるとともに互いに対してクライアント－サーバ関係を有するコンピュータプログラムによって生ずる。

本明細書は多くの詳細を含むが、これらは、本発明の範囲または特許請求され得るものの範囲に対する限定として解釈されるべきではなく、むしろ、本発明の特定の実施形態に特有の特徴の説明として解釈されるべきである。本明細書において別々の実施形態の文脈で記載される特定の特徴は、単一の実施形態において組合せでも実現され得る。逆に、単一の実施形態の文脈において記載されるさまざまな特徴も、複数の実施形態において別々に、または任意の好適な部分的組合わせでも実現され得る。さらに、特徴は、ある組合せにおいて作用すると上で記載され、最初はそのように請求されていさえする場合もあるが、請求される組合せからの１つ以上の特徴はいくつかの場合には当該組合せから削除され得、請求される組合せは、部分的組合わせまたは部分的組合わせの変形例に向けられ得る。

同様に、動作が図においては特定の順に示されているが、そのような動作は、望ましい結果を達成するために、示された当該特定の順もしくは連続した順で実行される必要があると理解されるべきではなく、または、すべての示された動作が実行される必要があると理解されるべきではない。特定の状況では、マルチタスク化および並列処理化が有利である場合もある。さらに、上述の実施形態における様々なシステムコンポーネントの分離は、すべての実施形態においてそのような分離を必要とすると理解されるべきではなく、記載されるプログラムコンポーネントおよびシステムは一般に単一のソフトウェア製品に統合され得るかまたは複数のソフトウェア製品にパッケージ化され得ることが理解されるべきである。

本発明の特定の実施形態について説明してきた。他の実施形態は以下の請求の範囲内にある。たとえば、請求項において記載されるステップは、異なる順で実行され得、それでも望ましい結果を達成し得る。

Claims (15)

1. 方法であって、
   第１のカメラおよび第２のカメラを有するビデオキャプチャデバイスが、ビデオ記録中にデジタルズーム範囲内でユーザ指定の倍率変更を可能にするデジタルズーム機能を提供することを含み、前記ビデオキャプチャデバイスは、（ｉ）前記デジタルズーム範囲の第１の部分にわたって前記第１のカメラによってキャプチャされたビデオデータを使用し、（ｉｉ）前記デジタルズーム範囲の第２の部分にわたって前記第２のカメラによってキャプチャされたビデオデータを使用するよう構成され、前記方法はさらに、
   前記デジタルズーム範囲の前記第２の部分において、あるズームレベルを提供するために、前記ビデオキャプチャデバイスの前記第２のカメラを使用してビデオをキャプチャする間に、（ｉ）前記第２のカメラのための第２の正準基準空間への第１の変換と、（ｉｉ）前記第２のカメラのための前記第２の正準基準空間から前記第１のカメラのための第１の正準基準空間への第２の変換と、（ｉｉｉ）前記第１のカメラのための前記第１の正準基準空間内の画像データに電子画像安定化を適用するための第３の変換と含む変換のセットを適用することによって、前記第２のカメラを使用してキャプチャされた画像データを処理することを含む、方法。
2. 前記方法はさらに、
   前記デジタルズーム範囲の前記第１の部分において、あるズームレベルを提供するために、前記ビデオキャプチャデバイスの前記第１のカメラを使用してビデオをキャプチャする間に、（ｉ）前記第１のカメラのための前記第１の正準基準空間への前記第１の変換と、（ｉｉ）前記第１のカメラのための前記第１の正準基準空間内の画像データに電子画像安定化を適用するための前記第３の変換とを含む変換のセットを適用することによって、前記第２のカメラを使用してキャプチャされた画像データを処理することを含む、請求項１に記載の方法。
3. 前記第１のカメラおよび前記第２のカメラは、異なる視野を有し、（ｉ）前記第２のカメラの視野は、前記第１のカメラの視野内に含まれ、または（ｉｉ）前記第１のカメラの前記視野は、前記第２のカメラの前記視野内に含まれる、請求項１または２に記載の方法。
4. 前記第１のカメラおよび前記第２のカメラは、各々、固定焦点距離レンズアセンブリを含む、請求項１～３のいずれか１項に記載の方法。
5. 前記第２のカメラのための前記第２の正準基準空間および前記第１のカメラのための前記第１の正準基準空間は、画像データを前記正準基準空間に投影することがビデオフレームのキャプチャ中の時間依存の影響を除去するように、所定の固定された組のカメラ固有特性によって定義される概念的カメラ空間である、請求項１～４のいずれか１項に記載の方法。
6. 前記第１のカメラは、光学画像安定化（ＯＩＳ）システムを含み、前記第１のカメラのための前記第１の正準基準空間は、画像データが、一貫した所定のＯＩＳ位置を有して、表されるか、または、
   前記第２のカメラは、光学画像安定化（ＯＩＳ）システムを含み、前記第２のカメラのための前記第２の正準基準空間は、画像データが、一貫した所定のＯＩＳ位置を有して、表されるものである、請求項５に記載の方法。
7. 前記第１のカメラは、画像フレームの画像走査線を漸進的にキャプチャする画像データを提供し、前記第１のカメラのための前記第１の正準基準空間は、画像データが、前記画像走査線の漸進的キャプチャに起因する歪みを除去するように、補正されたものであるか、または、
   前記第２のカメラは、画像フレームの画像走査線を漸進的にキャプチャする画像データを提供し、前記第２のカメラのための前記第２の正準基準空間は、画像データが、前記画像走査線の漸進的キャプチャに起因する歪みを除去するように、補正されたものである、請求項６に記載の方法。
8. 前記第２の変換は、前記第２のカメラの視野を前記第１のカメラの視野に整列させ、前記第１のカメラと前記第２のカメラとの間の空間オフセットを調整する、請求項１～７のいずれか１項に記載の方法。
9. 前記第１の変換、前記第２の変換、および前記第３の変換は各々、対応するホモグラフィ行列を有し、前記画像データを処理することは、前記ホモグラフィ行列を適用することを含む、請求項１～８のいずれか１項に記載の方法。
10. 前記方法はさらに、
    前記第１のカメラを使用するビデオデータのキャプチャ、および電子画像安定化を適用するための前記第１のカメラからのビデオデータの処理中に、前記デジタルズーム範囲の前記第２の部分における特定のズームレベルへのズームレベルの変化を示すユーザ入力を受信することと、
    前記ユーザ入力を受信することに応じて、
    所定のズームレベルに達するまで、前記第１のカメラを使用してキャプチャされるビデオフレームの倍率が漸増的に増加される、ビデオフレームのシーケンスを記録することと、
    前記第２のカメラを使用してビデオキャプチャを開始することと、
    前記第２のカメラを使用してキャプチャされるビデオフレームの第２のシーケンスを記録することとを含み、前記ビデオフレームの第２のシーケンスは、前記所定のズームレベルを提供し、前記特定のズームレベルに達するまで、前記第２のカメラを使用してキャプチャされるビデオフレームの、増加する倍率を提供する、請求項１～９のいずれか１項に記載の方法。
11. 前記第１の変換は、前記第２のカメラを使用してキャプチャされる画像データの異なる走査線に対する複数の異なる調整を含み、
    前記第２の変換は、前記第２のカメラの焦点距離に少なくとも部分的に基づいて決定され、
    前記第３の変換は、ビデオフレームのために、前記ビデオフレームのうちの特定のビデオフレームごとに、前記特定のビデオフレームの前の１つ以上のビデオフレームと前記特定のビデオフレームの後の１つ以上のビデオフレームとを使用する電子画像安定化を含む、請求項１～１０のいずれか１項に記載の方法。
12. 前記第２のカメラは、前記第１のカメラよりも小さい視野を有し、
    前記方法はさらに、
    前記第１のカメラを使用する画像キャプチャ中に、ビデオキャプチャに対してズームレベルの変更を示すユーザ入力を受信することと、
    前記ユーザ入力を受信することに応じて、前記変更されたズームレベルが所定の遷移ズームレベル以上であるか否かを判定することとを含み、前記所定の遷移ズームレベルは、前記第２のカメラの前記視野よりも小さい視野を表す、請求項１～１１のいずれか１項に記載の方法。
13. 前記方法はさらに、
    （ｉ）前記第１のカメラを使用するビデオキャプチャから前記第２のカメラを使用するビデオキャプチャに遷移するための第１の遷移ズームレベルと、（ｉｉ）前記第２のカメラを使用するビデオキャプチャから前記第１のカメラを使用するビデオキャプチャに遷移するための第２の遷移ズームレベルとを示すデータを記憶することを含み、前記第１の遷移ズームレベルは前記第２の遷移ズームレベルとは異なり、前記方法はさらに、
    （ｉ）要求されたズームレベルが視野の減少に対応するとき、前記要求されたズームレベルを前記第１の遷移ズームレベルと比較することと、（ｉｉ）前記要求されたズームレベルが視野の増加に対応するとき、前記要求されたズームレベルを前記第２の遷移ズームレベルと比較することとによって、ビデオキャプチャのためにカメラ間で切り替えるかどうかを決定することを含む、請求項１～１２のいずれか１項に記載の方法。
14. 前記方法はさらに、
    ビデオファイルの記録中に、前記第１のカメラおよび前記第２のカメラのうちの特定のカメラを使用してビデオをキャプチャすることから、前記第１のカメラおよび前記第２のカメラのうちの別のカメラを使用してビデオをキャプチャすることに切り替えることを決定することと、
    前記切り替えることを決定することに応答して、
    前記特定のカメラを使用する画像キャプチャのために使用されているビデオキャプチャパラメータの値を判断することと、
    前記判断されたビデオキャプチャパラメータに基づいて、前記別のカメラに対するビデオキャプチャパラメータの値を設定することと、
    前記別のカメラに対する前記ビデオキャプチャパラメータの前記値を設定した後、前記第２のカメラからのビデオキャプチャを開始し、前記第２のカメラからのキャプチャされたビデオを前記ビデオファイルに記録することとを含み、
    前記ビデオキャプチャパラメータを設定することは、前記第２のカメラについて、露出、画像センサ感度、ゲイン、画像キャプチャ時間、開口サイズ、レンズ焦点距離、ＯＩＳステータス、またはＯＩＳレベルのうちの１つ以上を調整することを含む、請求項１～１３のいずれか１項に記載の方法。
15. ビデオキャプチャデバイスであって、
    第１の視野を有する第１のカメラと、
    第２の視野を有する第２のカメラと、
    １つ以上の位置または向きセンサと、
    １つ以上のプロセッサと、
    前記１つ以上のプロセッサによって実行されると請求項１～１４のいずれか１項に記載の方法を実行させる命令を記憶する１つ以上のデータ記憶装置とを備える、ビデオキャプチャデバイス。

Images