JP6219400B2 - キャプチャされたビデオの向きを調節するためのシステムおよび方法 - Google Patents

Description

[0001] 本発明は一般に、ビデオ記録デバイスに組み込まれている加速度計データを利用することによって、シーン内の対象物のキャプチャされたビデオの向きを調節するためのシステムおよび方法に関する。

[0002] 典型的に、カムコーダのプレビューではまたはテレビ電話（ＶＴ：video telephony）アプリケーションのローカルビューでは、対象物の画像向きは、デバイスの向きに関わらず、シーン内の対象物の真の向き（true orientation）と常に同じである。

[0003] しかしながら、フレームが符号化されるとき、各フレームにおける対象物の画像の向きは、フレームがキャプチャされた瞬間のデバイスの向き、これは必ずしもシーン内の対象物の真の向きと一致するとは限らない、に左右される。したがって、対象物をキャプチャするときにデバイスが角度θ回転している場合、記録されたビデオでは、対象物のビューもまた、キャプチャされたシーンにおける対象物の真の向きを提示する代わりに、角度θ回転しているであろう。

[0004] 一実施形態では、本発明は、ビデオキャプチャデバイス上でキャプチャされたビデオを符号化するための方法を提供する。方法は、シーンのビデオがキャプチャされているときに、ビデオキャプチャデバイスから向きデータを読み取ることを備える。方法は、この向きデータに基づいて回転行列を生成することをさらに備える。方法は、キャプチャされたビデオの向きを、シーンの真の向きと一致するように調節することをさらに備える。方法は、調節されたキャプチャされたビデオを符号化することをさらに備える。別の実施形態では、本発明は、ビデオキャプチャデバイス上でキャプチャされたビデオを符号化するためのシステムを提供する。システムは、シーンのビデオをキャプチャするように構成された画像センサを備える。システムは、ビデオキャプチャデバイスから向きデータを提供するように構成された慣性測定ユニットをさらに備える。システムは、この向きデータに基づいて回転行列を生成し、キャプチャされたビデオの向きを、シーンの真の向きと一致するように調節するように構成された回転モジュールをさらに備える。システムは、調節されたキャプチャされたビデオを符号化するように構成されたエンコーダをさらに備える。別の実施形態では、本発明は、ビデオキャプチャデバイス上でキャプチャされたビデオを符号化するためのシステムを提供する。システムは、シーンのビデオがキャプチャされているときに、ビデオキャプチャデバイスから向きデータを読み取るための手段をさらに備える。システムは、この向きデータに基づいて回転行列を生成するための手段をさらに備える。システムは、キャプチャされたビデオの向きを、シーンの真の向きと一致するように調節するための手段をさらに備える。システムは、調節されたキャプチャされたビデオを符号化するための手段をさらに備える。

図１は、本発明の一実施形態に係る、シーンキャプチャ、および、ディスプレイスクリーン上での画像変換の例示である。 図２は、本発明の一実施形態に係る、システムレベルの概観（overview）のブロック図である。 図３は、キャプチャされたビデオの向き調節のためのプロセスの概観を示すフロー図である。 図４は、加速度計ユニットからデータを読み取るためのプロセスの概観を示すフロー図である。 図５は、回転行列に基づいてビデオの向きを調節するためのプロセスの概観を示すフロー図である。

発明の詳細な説明

[0010] 本発明の実施形態は、ビデオキャプチャデバイスに関連付けられたセンサから収集されたデータに基づいて、キャプチャされたビデオの向きを調節するためのシステムおよび方法に関する。例えば、キャプチャされたビデオの向きは、ビデオキャプチャデバイスに組み込まれている加速度計ユニットまたは重力センサからキャプチャされた向きデータに基づいて調節されうる。具体的には、現代のモバイル電話は、ビデオおよび画像キャプチャリング機能を有する組み込み式カメラを含む。例えば、典型的な現代のモバイル電話カメラは、毎秒最大３０フレームでビデオを記録する機能を提供しうる。

[0011] さらに、モバイル電話は、ユーザインターフェース制御のためにデバイスに組み込まれる加速度計を備えていることが多い。加速度計は、ある時点でデバイスにかかる力を測定する。これらの力は、どの方向にユーザがデバイスを動かしているかを決定するため、ひいては向きデータを提供するために使用されうる。加速度値は、Ｘ軸、Ｙ軸、およびＺ軸の加速度成分を表す３次元ベクトルで表される。加速度の向きは、デバイスが水平の（level）テーブル上で表向きであるときには−１ｇがＺ軸にかかり、デバイスがテーブルトップに対して垂直に（perpendicular）置かれているときには−１ｇがＹ軸に沿ってかかるようにデバイスに対して相対的でありうる。加速度計は、その電話の向き、または、デバイスがユーザによってどのように持たれているかに基づいて、画像またはビデオのランドスケープ（landscape）またはポートレート（portrait）ビューをデバイスのスクリーン上に提示するために使用されうる。

[0012] ビデオの記録中、上述したように、キャプチャされたビデオの向きは、必ずしも、シーン内のキャプチャされた対象物の「真向き」と一致するとは限らない。例えば、ビデオ記録デバイスが、記録中にある角度傾いている（titled）または回転している場合、キャプチャされたビデオは、それがデバイス上で再生されるときに同じ角度回転するであろう。結果として、記録されたビデオは、正規の（normal）垂直（vertical）または水平向きに持たれている間にモバイルデバイスのスクリーン上でビデオが再生されるとき、「傾いている」または「回転している」ように見える。さらに、ビデオが、別のデバイス（テレビのような）上での再生のために送信または記憶される場合、このビデオは、また、それがモバイルデバイス上に記録中に傾いた角度と同じ角度回転してまたは傾いて現れる。しかしながら、本明細書で説明されるように、本実施形態は、ビデオデバイスセンサからキャプチャされたデータを使用して、このデバイスを、再生に適切となる方向に向ける（orient）ことができる。一例として、加速度計データが読み取られると、そのデータは、傾いたビデオの向きを補正するための回転行列を算出するために利用され得、それによって、ビデオは、正規の向きで再生されるように符号化されるであろう。

[0013] 図１は、回転した向きの木１１０がビデオキャプチャデバイス１２０によって記録されていることを示すシーン１００の一実施形態の例示である。ビデオキャプチャデバイス１２０は、モバイル電話、タブレットＰＣ、デジタルカメラ、または、加速度計または慣性測定ユニットのような組み込み式位置センサを備えるあらゆる記録デバイスを備えうる。

[0014] 示されるように、ビデオキャプチャデバイス１２０は、木１１０を記録する間、ある角度傾いている。ビデオキャプチャデバイス１３０は、ビデオキャプチャデバイス１２０と同じデバイスまたは別のデバイスであることができ、キャプチャされた画像をビデオキャプチャデバイス１２０の位置に基づいて回転させる、本明細書で説明される実施形態を含む。示されるように、デバイス１３０は、デバイス１３０の向きが、シーン１００内のキャプチャされた木の真の向きと一致するように、傾きなく記録されている木１１０を示す。ビデオキャプチャデバイス１２０のスクリーン１２５上に示されるように、木１１０の向きは、スクリーン１２５上に示される木の最上部がビデオスクリーン１２５の左上の部分１２８の方を指すような方向に向けられる（orientate）かまたは回転している。本明細書で説明される向き調節システムがない場合、木１１０の最上部の画像は、垂直位置で持たれている場合であってもデバイス１３０の左上の部分を指し続けるであろう。

[0015] このように、本実施形態は、ビデオキャプチャデバイスの組み込み式加速度計または慣性測定ユニットからデータを読み取ることによってこの表示不良を補正する。データは、スクリーン上で最終のビデオが対象物の真の向きと一致することとなるように、ビデオ符号化中に、キャプチャされた対象物を回転させる回転行列を導出するために使用されうる。デバイス１３０に示されるように、画像変換後、スクリーン１３５は、垂直軸に沿って上（１２時の位置）を指している木の向きを示し、それは対象物の真の向きと一致する。

[0016] 図２は、図１のシステム１２０のブロック図である。カメラ２１０は、シーンの画像をまたは異なるフレームレートでビデオをキャプチャする機能を提供する。例えば、カメラ２１０は、毎秒３０フレームというフレームレートでビデオをキャプチャしうる。カメラは、ビデオキャプチャデバイス１２０の加速度計読み取り値（reading）を測定する加速度計ユニット２３０と連動するプロセッサ２２０に接続されている。加速度計ユニット２３０はまた、キャプチャされたビデオの向きを調節する際に使用するビデオキャプチャデバイスの空間の向きを導出するために、加速度計の代わりに３軸ジャイロスコープから構成される。

[0017] プロセッサ２２０は、方向余弦行列（direction cosine matrix）、すなわち、記録中のビデオキャプチャデバイスの回転を補正するための回転行列を導出しうる。システムモジュールのセット２４０が示され、これらはこのシステム内でともに動作して、キャプチャされたビデオの向きを調節する機能の多くを提供する。動き安定化モジュール２４２は、記録中の画像またはビデオを安定化させ、ブレ防止機能（anti-blur functionality）のために加速度計ユニット２３０のデータを使用する。画像キャプチャモジュール２４４は、カメラ２１０によってキャプチャされたビデオの各フレームを処理し、回転モジュール２４６と連動して、現在のフレームの向き調節のための回転行列を算出しうる。回転モジュール２４６は、キャプチャされたビデオの向きをフレーム単位で調節する回転行列を導出するために、加速度計ユニット２３０から加速度計または慣性測定ユニットデータを読み取るように構成されうる。次に、ディスプレイデバイス２５０は、向きが調節された（orientation adjusted）キャプチャされたビデオを表示するか、または、向きが調節されていないビデオ（unadjusted orientation video）を表示しうる。

[0018] 図３は、本明細書で説明されるような、キャプチャされたビデオの向きを調節するためのプロセス３００の一実施形態を示すフロー図である。プロセス３００は、ブロック３１０から開始し、そこでは、調節されるべきビデオがキャプチャされるかまたはデバイスに提供される。ビデオは、一連のフレームとしてまたはシーンの静止画として提供されうる。次に、プロセス３００はプロセスブロック３２０に進み、加速度計ユニットデータを読み取る。上述したように、加速度計ユニットはまた、回転行列を算出するために使用されるデータを導出するために、加速度計の代わりに３軸ジャイロスコープを備えうる。プロセスブロック３２０で実施されるステップは、以下で図４に関連してより詳細に説明されるであろう。

[0019] プロセスブロック３２０において加速度計データがビデオキャプチャデバイスから読み取られると、プロセス３００はブロック３３０に進み、キャプチャされたビデオの向きを調節するための回転行列を算出する。導出された回転行列は、記録中のビデオキャプチャデバイスの動きに依存して、各ビデオフレームごとに、または、特定数のフレームごとにアップデートされうる。加速度計センサ読み取り値は、また、ジッタリング（jittering）を除去するためにローパスフィルタを使用してフィルタリングされ、次に、回転行列を導出するために処理されうる。例として、加速度計軸は以下の通り定義されうる：Ｙ軸は、正方向が北（１２時の位置）に向いた状態で、ビデオキャプチャデバイスの垂直方向に沿って延びうる（run along）；Ｘ軸は、正方向が東（３時の位置）に向いた状態で、ビデオキャプチャデバイスの水平方向に沿って延びうる；Ｚ軸は、正の方向がデバイスの上面（top）を貫いて上方向に向いた状態で（デバイスの回転がＺ軸に沿うこととなるように）、ビデオキャプチャデバイスを貫いて延びうる（run through）。

[0020] ユーザが記録中にビデオキャプチャデバイスを傾けているとき、本発明は、ＸおよびＹ平面に沿った回転だけを伴うため、Ｚ軸の加速度計読み取り値は、回転行列の導出に組み込まれる必要はない。ビデオキャプチャデバイスが正規の位置で持たれているとき、そして、ビデオキャプチャデバイスもまた、キャプチャされた対象物の向き（図１のビデオキャプチャデバイス１３０の向き参照、これは、「正規の」向きを表し、キャプチャされた木１１０の向きとも一致する）と一致するような方向に向けられていると想定すると、正のＹ軸は重力の方向に沿って延びる。

[0021] ゆえに、３軸加速度計のＹ軸は、垂直方向に沿って重力の加速度（略９.８ｍ／ｓ^２）を測定するであろう。Ｘ軸に沿った傾きも回転もないため、図１のビデオキャプチャデバイス１３０によって示されるような正規の向きにおけるＸ軸に沿った測定値は０となるであろう。ゆえに、正規の位置では、加速度計ベクトル読み取り値は（０，９.８ｍ／ｓ^２）となり、正規化（Ｘ軸およびＹ軸の両方を重力加速度で割った）後には（０，１）となるであろう。

[0022] 次いで、ビデオキャプチャデバイスが時計回りに角度θ回転しているとき、新しい向き（図１のビデオキャプチャデバイス１２０によって示されるような）は、負のＸ軸に沿って加速度計読み取り値を有するであろう。ユーザによる角度θの回転の後、ビデオキャプチャデバイスは、新たな軸Ｘ’およびＹ’と定義されうるような方向に向けられることとなり、ここで、Ｘ’は、ビデオキャプチャデバイスの底面（bottom）に沿って延び（正規のＸ軸の「下」に角度θ回転している）、Ｙ’は、ビデオキャプチャデバイスの左側に沿って延びる（正規のＹ軸の「右」に角度θ回転している）。元の「正規の位置」で座標（Ｘ，Ｙ）にある、Ｘ，Ｙ平面におけるビデオキャプチャデバイスの開始の正規の向きと、座標（Ｘ’，Ｙ’）にある回転した向き（図１の１２０によって示されるような）との関係性は次の通りでありうる：

[0023] したがって、Ｘ−Ｙ平面に沿って時計回りに角度θの、ユーザが引き起こした回転の場合、キャプチャされた画像またはフレームを「正規の」向きまたは「真」の向きへと調節して、キャプチャされたシーンまたはキャプチャされた対象物の「真の向き」と一致させるために上記回転行列が使用されうる。さらに、上記行列は、ビデオキャプチャデバイスがシーンを記録しているときに回転角度θが変化しうるため、フレーム単位でアップデートされうる。また、同様にビデオキャプチャデバイスの記録中の回転を補正するための行列を導出するために、類似した行列が３軸ジャイロスコープを利用して算出され得、それは、角速度（angular velocity）を測定する。

[0024] 次に、プロセス３００はプロセスブロック３４０に進み、ブロック３３０からの算出された回転行列に基づいてキャプチャされたビデオを調節する。プロセス３４０は、図５に関して以下でより詳細に説明されるであろう。

[0025] 次いで、プロセス３００はブロック３５０へと移動し、プロセスブロック３４０からの調節された向きを使用してビデオを符号化する。符号化されたビデオは、テレビ電話アプリケーションの受信機側での復号のためにまたは表示目的で、ネットワークを通して送信されるか、または、ローカルメモリに保存されるかのいずれかでありうる。次いで、プロセス３００は判定（decision）ブロック３７０へと移動し、元の（調節されていない）ビデオをローカルに表示するか否かを決定する。ビデオを表示しないとの決定が行われた場合、プロセス３００はブロック３６０に移動し、ビデオを記憶または送信する。しかしながら、判定状態３７０においてビデオを表示するとの決定が行われた場合、プロセス３００は状態３８０に移動し、プロセス３００がブロック３９０で終了する前に、それは、ビデオキャプチャデバイスの組み込み式ディスプレイスクリーン上に、または、外部ディスプレイデバイス上に表示されうる。

[0026] 図４は、加速度計ユニットデータを読み取るためのプロセス３２０をより詳細に示す。各ビデオフレームのキャプチャリング中、加速度計の１つまたは多数の読み取り値が取得されうる。３軸加速度計の場合、単一の読み取り値が、Ｘ，Ｙ，Ｚ成分を有する加速度ベクトルを生む（yield）であろう。図４に示されるように、Ｘ軸４２０、Ｙ軸４３０、およびＺ軸４４０は、同時にまたは個別に読み取られうる。各軸の方向は一般に、これら３つの軸が右手の法則（right-hand rule）に従う限り任意である。加速度計は、加速度、すなわちデバイスの速度の変化を測定し、その加速度ベクトルについての対応するＸ，Ｙ，およびＺ成分を算出する。デバイスが単に単一の軸に沿って加速されていない限り、加速度ベクトルは、これら３つの方向の各々に成分を有する可能性が高いであろう。加速度計は、単一のビデオフレームのキャプチャリング中に加速度の少なくとも１つのサンプルが取得されうるようなサンプリング周波数で構成されうる。単一のビデオフレームをキャプチャリングする期間中に多数の加速度読み取り値が利用可能な場合、これらの読み取り値に対してローパスフィルタが適用され得、手の動き（hand movement）よって引き起こされるあらゆるサンプリングノイズまたはジッタを除去しうる。ジャイロスコープも利用可能な場合、手の動きによって与えられる（contributed）加速度を除去するために、その読み取り値が使用されうる。次に、単一のビデオフレームのキャプチャリング中に取得された多数のサンプルが、そのビデオフレームについての単一の重力ベクトルを生成するために平均化されうる。次に、この重力ベクトルは、デバイスのＸ−Ｙ平面に投影され（Ｚ成分をドロップ（drop）することによって）、正規化され、それによって、結果として得られる単位ベクトルは、回転行列または回転角度を算出するために使用されうる。上述したように、通常、Ｘ−Ｙ平面内の重力成分が、回転行列を算出するのに必要な唯一のデータである。この実施形態では、重力のＺ成分は、キャプチャされた画像フレームを回転させるために使用される回転行列を算出する必要がないため、必要とされない。通常、Ｘ軸（ブロック４２０）からの単位ベクトルはｓｉｎ（θ）となり、Ｙ軸（ブロック４３０）に沿ったものはｃｏｓ（θ）となり、ここで、θは、反時計回りに回転したビデオキャプチャデバイスの回転の角度である。次いで、プロセスはブロック４５０に進み、単位ベクトルが以前のフレームの単位ベクトル（記憶されているもの）と十分に異なるかどうかの決定が行われる。差分が閾値よりも小さい場合、プロセス３２０はステップ４１０に戻る。差分が閾値よりも大きい場合、プロセス３２０はブロック４６０に移動し、単位ベクトルデータがメモリに記憶され、それに応じて回転行列がアップデートされる。

[0027] 図５は、算出された回転行列に基づいてビデオの向きを調節するためのプロセス３４０についてのさらなる詳細を提供する。プロセス３４０は、現在表示されているフレームの向きを調節するための回転行列を読み取るブロック５１０から開始する。上述したように、回転行列データは、ビデオキャプチャデバイスの向きが記録中に変化しうるため、ビデオがキャプチャされているときにフレーム単位で変化し得、したがって、対応する回転行列もまたフレーム単位で変化しうる。次に、プロセスはブロック５２０に進み、キャプチャされている現在のフレームを回転させる。

[0028] 回転による解像度損失（resolution loss）を回避するために、カメラまたはビデオキャプチャデバイスは、回転の後に、関心のあるシーンからの重要な情報を損なうことなく各フレームのトリミングが行われうるように、余分なマージンとともにフレームをキャプチャするように構成されうる。例えば、（ｗ，ｈ）の解像度でフレームをキャプチャするために、カメラまたはビデオキャプチャデバイスは、（ｃ，ｃ）の解像度でフレームをキャプチャするように構成される。したがって、ｃの最小値、すなわち、ｃ_ｍｉｎ、は、次のように算出されうる：

[0029] 実際には、フィルタリングプロセスのために余分なマージンが追加され得、ここで、ｍはマージンであり、そのため、ｃ＝ｃ_ｍｉｎ＋ｍである。回転は、画像の幾何学的中心周りである。１つの可能性のある強化（enhancement）は、隣接画像がシーンにおいて回転の原点と同じキーポイントを可能な限り使用しうるために、回転の原点が画像中心の小さめの近傍を動き回ることを可能にすることである。これは、潜在的に、手ブレ（hand shaking）によって引き起こされるジッタを除去することができる。そのようなアルゴリズムは、画像の幾何学的中心から開始し、一致するキーポイントが見つからない場合、画像の幾何学的中心に戻る（fall back）。

[0030] 画像を反時計回りにθの角度回転させるためには、元の画像内の一致するポイント（ｘ，ｙ）を見つけるために、結果として得られた画像内のポイント（ｘ’，ｙ’）ごとに、反時計回りにθ回転させられる。（ｘ，ｙ）での元の画像の値を推定し、その値を結果として得られた画像内のポイント（ｘ’，ｙ’）に割り当てるために内挿法（interpolation method）が使用される。このプロセスは、専用ハードウェアブロック、または、グラフィックス処理ユニット（ＧＰＵ）のような汎用処理ユニットを使用して実現されうる。回転行列データに基づいて各フレームが回転された後、プロセス３４０はブロック５３０に移動し、ディスプレイスクリーン上に適切な向きで現れるように、回転した画像またはフレームをトリミングする。トリミングが行われた後、現在のフレームは、対象の出力解像度を有することができる。最後に、フレームが回転およびトリミングされた後、プロセス３４０は、ブロック５４０において、補正されたまたは調節された向きを有する現在のフレームをメモリに記憶することができる。

[0031] 本技術は、多数の他の汎用または専用コンピューティングシステム環境または構成と動作可能である。本発明との使用に対して適切でありうる周知のコンピューティングシステム、環境、および／または構成の例には、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルドまたはラップトップデバイス、マルチプロセッサシステム、プロセッサベースのシステム、プログラマブル消費者電子機器、ネットワークＰＣ、マイクロコンピュータ、メインフレームコンピュータ、上記システムまたはデバイスのいずれかを含む分散コンピューティング環境、等が含まれるがそれらに限定されるわけではない。

[0032] 本明細書で使用される場合、命令とは、システム内の情報を処理するためのコンピュータ実現ステップを指す。命令は、ソフトウェア、ファームウェア、またはハードウェアで実現され、システムの構成要素によって実施されるあらゆるタイプのプログラムステップを含みうる。

[0033] プロセッサは、Ｐｅｎｔｉｕｍ（登録商標）プロセッサ、Ｐｅｎｔｉｕｍ（登録商標）Ｐｒｏプロセッサ、８０５１プロセッサ、ＭＩＰＳ（登録商標）プロセッサ、ＰｏｗｅｒＰＣ（登録商標）プロセッサ、またはＡｌｐｈａ（登録商標）プロセッサのような、あらゆる従来の汎用のシングルチッププロセッサまたはマルチチッププロセッサでありうる。加えて、プロセッサは、デジタルシグナルプロセッサまたはグラフィックスプロセッサのようなあらゆる従来の専用プロセッサでありうる。プロセッサは典型的に、従来のアドレス線、従来のデータ線、および１つ以上の従来の制御線を有する。

[0034] システムは、詳細に説明されたような様々なモジュールから成る。当業者によって認識されうるように、モジュールの各々は、様々なサブルーチン、プロシージャ、定義ステートメント、およびマクロを備える。モジュールの各々は典型的に、別々にコンパイルされ、単一の実行可能プログラムへとリンク付けされうる。したがって、モジュールの各々についての説明は、便宜上、好ましいシステムの機能を説明するために使用される。したがって、モジュールの各々が経るプロセスは、他のモジュールのうちの１つに適宜再分散されうるか、まとめて単一のモジュールへと組み合わせられうるか、または、例えば、共有可能な動的リンクライブラリで入手可能にされうる。

[0035] システムは、Ｌｉｎｕｘ（登録商標）、ＵＮＩＸ（登録商標）、またはＭｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標）といった様々なオペレーティングシステムに関連して使用されうる。

[0036] システムは、Ｃ、Ｃ＋＋、ＢＡＳＩＣ、Ｐａｓｃａｌ、またはＪａｖａ（登録商標）といった任意の従来のプログラミング言語で書かれており、従来のオペレーティングシステム下で動作した。Ｃ、Ｃ＋＋、ＢＡＳＩＣ、Ｐａｓｃａｌ、Ｊａｖａ、およびＦＯＲＴＲＡＮは、実行可能コードを作り出すために多くの商業コンパイラが使用されうる業界標準プログラミング言語である。システムはまた、Ｐｅｒｌ、Ｐｙｔｈｏｎ、またはＲｕｂｙといった組み込み言語を使用して書かれうる。

[0037] 当業者は、本明細書に開示された実施形態に関連して説明された実例となる様々な論理ブロック、モジュール、回路、およびアルゴリズムステップが、電子ハードウェア、コンピュータソフトウェア、またはその両方の組み合わせとして実現されうることをさらに認識するであろう。このハードウェアおよびソフトウェアの互換性を明確に示すために、実例となる様々な構成要素、ブロック、モジュール、回路、およびステップが、概ねそれらの機能の観点から上で説明されている。このような機能が、ハードウェアとして実現されるかソフトウェアとして実現されるかは、特定の用途およびシステム全体に課せられる設計制約に依存する。当業者は上で説明された機能を特定の用途ごとに様々な方法で実現することができるが、このような実現の判定は本開示の適用範囲（scope）からの逸脱の原因になるとして解釈されるべきではない。

[0038] 本明細書で開示された実施形態に関連して説明された実例となる様々な論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または他のプログラマブル論理デバイス、ディスクリートゲートまたはトランジスタ論理、ディスクリートハードウェア構成要素、あるいは本明細書に説明された機能を行うように設計されたこれらの任意の組み合わせで、実現されるかまたは行われうる。汎用プロセッサは、マイクロプロセッサでありうるが、代替的に、このプロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシンでありうる。プロセッサは、また、例えば、ＤＳＰと、１つのマクロプロセッサ、複数のマイクロプロセッサ、ＤＳＰコアに結合した１つ以上のマイクロプロセッサ、またはその他の上記構成、との組み合わせといったコンピューティングデバイスの組み合わせとしても実現されうる。

[0039] １つ以上の例示的な実施形態では、説明された機能および方法は、ハードウェア、ソフトウェア、またはプロセッサ上で実行されるファームウェア、あるいはこれらの任意の組み合わせで実現されうる。ソフトウェアで実現される場合、これら機能は、コンピュータ可読媒体において、１つ以上の命令またはコードとして、記憶または送信されることができる。コンピュータ可読媒体は、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体およびコンピュータ記憶媒体の両方を含む。記憶媒体は、コンピュータによってアクセスされることができる任意の入手可能な媒体でありうる。限定ではなく例として、このようなコンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭまたは他の光ディスク記憶装置、磁気ディスク記憶装置または他の磁気記憶デバイス、あるいは、データ構造または命令の形式で所望のプログラムコードを記憶または搬送するために使用可能であり、かつコンピュータによってアクセス可能なその他の媒体を備えうる。さらに、任意の接続は、厳密にはコンピュータ可読媒体と呼ばれる。例えば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、あるいは赤外線、電波、およびマイクロ波のような無線技術を使用して、ウェブサイト、サーバ、またはその他の遠隔ソースから送信される場合には、この同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、あるいは赤外線、電波、およびマイクロ波のような無線技術は媒体の定義に含まれる。本明細書で使用される場合、ディスク（ｄｉｓｋ）およびディスク（ｄｉｓｃ）は、コンパクトディスク（ＣＤ）、レーザーディスク（登録商標）、光ディスク、デジタル多用途ディスク（ＤＶＤ）、フロッピー（登録商標）ディスクおよびブルーレイ（登録商標）ディスクを含み、ここで、ディスク（ｄｉｓｋ）は、通常磁気的にデータを再生し、一方ディスク（ｄｉｓｃ）は、レーザーを用いて光学的にデータを再生する。上記の組み合わせもコンピュータ可読媒体の適用範囲内に含まれるべきである。

[0040] 先の説明は、本明細書で開示されたシステム、デバイス、および方法の特定の実施形態を詳述している。しかしながら、先の内容がテキストでどれだけ詳細に現れていても、システム、デバイス、および方法が多くの方法で実施されうることは認識されるべきであろう。これもまた上述されているが、本発明の特定の特徴または態様を説明する際の特定の用語の使用は、本明細書においてその用語が、その用語が関連付けられた技術の特徴または態様の任意の特定の特性を含むものに限定されるように再定義されていることを意味するものと受け取られるべきでないことに留意されたい。

[0041] 様々な変更および変化が、説明された技術の範囲から逸脱することなく行われうることは当業者によって認識されるであろう。そのような変更または変化は、実施形態の適用範囲内であることが意図される。一実施形態に含まれている複数の部分が他の実施形態と入れ替えられること、描写された実施形態の１つ以上の部分が、描写された他の実施形態と任意の組み合わせで含まれうることも当業者によって認識されるであろう。例えば、本明細書で説明されたおよび／または図に描写された様々な構成要素のいずれかは、他の実施形態と組み合わせられるか、それと入れ替えられうるか、またはそこから除外されうる。

[0042] 本明細書におけるほぼすべての複数形および／または単数形の用語の使用に関して、当業者は、文脈および／または用途に適切なように、複数形から単数形におよび／または単数形から複数形に変換することができるであろう。様々な単数形／複数形の置き換えは、明瞭さのために本明細書で明確に示されうる。

[0043] 一般に、本明細書で使用される用語が大抵「オープンな（open）」用語であることが意図されうることは当業者によって理解されるであろう（例えば、「〜を含んでいる（including）」という用語は、「〜を含んでいるが限定されるわけではない」と解釈されるべきであり、「〜を有する（having）」という用語は、「〜を少なくとも有する」として解釈されるべきであり、「〜を含む（includes）」という用語は、「〜を含むが限定されるわけでない」と解釈されるべきである、等）。導入される（introduced）請求項の記載の特定の数が意図される場合、そのような意図は、特許請求の範囲で明示的に記載されるため、そのような記載が無い場合、そのような意図は存在しないことが当業者によってさらに理解されるであろう。例えば、理解の補助として、以下に添付される特許請求の範囲は、請求項の記載を導入するために、「少なくとも１つ（の）」および「１つ以上（の）」という前置きな表現の使用を含みうる。しかしながら、そのような表現の使用は、「ａ」または「ａｎ」という不定冠詞に請求項の記載の導入が、そのような導入された請求項の記載を含む任意の特定の請求項を、たった１つのそのような記載を含む実施形態に限定することを意味するものと、同じ請求項が、「１つ以上（の）」または「少なくとも１つ（の）」という前置きの表現ならびに「ａ」および「ａｎ」のような不定冠詞（例えば、「ａ」および／または「ａｎ」は、「少なくとも１つ（の）」または「１つ以上（の）」を意味すると典型的に解釈されるものとする）を含む場合であっても、解釈されるべきではなく、請求項の記載を導入するために使用される定冠詞の使用についても同じことが言える。加えて、導入される請求項の記載の特定の数が明示的に記載されている場合であっても、そのような記載が、少なくとも記載された数を意味する（例えば、修飾語のない「２つの記載」という記載そのものは典型的に、少なくとも２つの記載または２つ以上の記載、を意味する）ものと典型的に解釈されるものとすることを当業者は認識するであろう。さらに、「Ａ、Ｂ、およびＣ、等のうちの少なくとも１つ」に類似した表記法が使用されるそれらの事例において、一般に、そのような構成は、当業者がその表記法（例えば、「Ａ、Ｂ、およびＣのうちの少なくとも１つを有するシステム」が、Ａを単独で、Ｂを単独で、Ｃを単独で、ＡとＢを同時に、ＢとＣを同時に、および／または、Ａ、Ｂ、およびＣを同時に有するシステムを含むがそれらに限定されないであろうこと）を理解するであろうことを意味することが意図される。「Ａ、Ｂ、またはＣ、等のうちの少なくとも１つ」に類似した表記法が使用されるそれらの事例において、一般に、そのような構成は、当業者がその表記法（例えば、「Ａ、Ｂ、またはＣのうちの少なくとも１つを有するシステム」が、Ａを単独で、Ｂを単独で、Ｃを単独で、ＡとＢを同時に、ＢとＣを同時に、および／または、Ａ、Ｂ、またはＣを同時に有するシステムを含むがそれらに限定されないであろうこと）を理解するであろうことを意味することが意図される。事実上、２つ以上の代替用語を表す任意の離接的な用語および／または表現は、詳細な説明にある場合であっても、特許請求の範囲にある場合であっても、または、図面にある場合であっても、それら用語のうち１つ、それら用語のうちのいずれか、または両方の用語、を含む可能性を予期するものと理解されるべきであることは、当業者によってさらに理解されるであろう。例えば、「ＡまたはＢ」という表現は、「Ａ」、または「Ｂ」、または「ＡおよびＢ」の可能性を含むことが理解されるであろう。

[0044] 様々な態様および実施形態が本明細書で開示されているが、他の態様および実施形態は当業者に明らかであろう。本明細書で開示された様々な態様および実施形態は、例示を目的としており、限定的であることは意図されない。
以下に本願発明の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
ビデオキャプチャデバイス上でキャプチャされたビデオを符号化する方法であって、
シーンのビデオがキャプチャされているときに、前記ビデオキャプチャデバイスから向きデータを読み取ることと、
前記向きデータに基づいて回転行列を生成することと、
前記キャプチャされたビデオの前記向きを、前記シーンの前記真の向きと一致するように調節することと、
前記調節されたキャプチャされたビデオを符号化することと
を備える方法。
［Ｃ２］
前記向きデータは、加速度計またはジャイロスコープからの慣性測定データである、Ｃ１に記載の方法。
［Ｃ３］
前記ビデオキャプチャデバイスは、モバイル電話またはタブレットを備える、Ｃ１に記載の方法。
［Ｃ４］
前記調節されたキャプチャされたビデオを符号化することは、前記調節されたキャプチャされたビデオをトリミングすることを備える、Ｃ１に記載の方法。
［Ｃ５］
前記調節されたキャプチャされたビデオを、前記ビデオキャプチャデバイスのメモリに記憶することをさらに備える、Ｃ１に記載の方法。
［Ｃ６］
前記回転されたキャプチャされたビデオは、ビデオ表示機能を有する別のデバイスに送信される、Ｃ１に記載の方法。
［Ｃ７］
ビデオキャプチャデバイス上でキャプチャされたビデオを符号化するためのシステムであって、
シーンのビデオをキャプチャするように構成された画像センサと、
前記ビデオキャプチャデバイスから向きデータを提供するように構成された慣性測定ユニットと、
前記向きデータに基づいて回転行列を生成し、前記キャプチャされたビデオの前記向きを、前記シーンの真の向きに一致するように調節するように構成された回転モジュールと、
前記調節されたキャプチャされたビデオを符号化するように構成されたエンコーダと
を備えるシステム。
［Ｃ８］
前記慣性測定ユニットは、加速度計またはジャイロスコープを備える、Ｃ７に記載のシステム。
［Ｃ９］
前記ビデオキャプチャデバイスは、モバイル電話またはタブレットを備える、Ｃ７に記載のシステム。
［Ｃ１０］
前記回転モジュールは、前記キャプチャされたビデオをトリミングするように構成される、Ｃ７に記載のシステム。
［Ｃ１１］
前記調節されたキャプチャされたビデオを記憶するように構成された記憶装置をさらに備える、Ｃ７に記載のシステム。
［Ｃ１２］
前記調節されたキャプチャされたビデオを、ビデオ表示機能を有する第２のデバイスに送信するための送信機をさらに備える、Ｃ７に記載のシステム。
［Ｃ１３］
ビデオキャプチャデバイス上でキャプチャされたビデオを符号化するシステムであって、
シーンのビデオがキャプチャされているときに、前記ビデオキャプチャデバイスから向きデータを読み取るための手段と、
前記向きデータに基づいて回転行列を生成するための手段と、
前記キャプチャされたビデオの前記向きを、前記シーンの前記真の向きと一致するように調節するための手段と、
前記調節されたキャプチャされたビデオを符号化するための手段と
を備えるシステム。
［Ｃ１４］
向きデータを読み取るための前記手段は、向きデータを提供するように構成された慣性測定ユニットを備える、Ｃ１３に記載のシステム。
［Ｃ１５］
前記慣性測定ユニットデータに基づいて回転行列を生成するための前記手段は、プロセッサによって動作されるように構成された回転モジュールを備える、Ｃ１３に記載のシステム。
［Ｃ１６］
前記回転されたキャプチャされたビデオを符号化するための前記手段は、ビデオエンコーダを備える、Ｃ１３に記載のシステム。
［Ｃ１７］
命令を記憶するように構成された非一時的なコンピュータ可読媒体であって、前記命令は、プロセッサによって実行されると、
シーンのビデオがキャプチャされているときに、前記ビデオキャプチャデバイスから向きデータを読み取ることと、
前記向きデータに基づいて回転行列を生成することと、
前記キャプチャされたビデオの前記向きを、前記シーンの前記真の向きと一致するように調節することと、
前記調節されたキャプチャされたビデオを符号化することと
を備える方法を行う、コンピュータ可読媒体。
［Ｃ１８］
前記向きデータは、加速度計またはジャイロスコープからの慣性測定データである、Ｃ１７に記載のコンピュータ可読媒体。
［Ｃ１９］
前記向きデータは、加速度計データである、Ｃ１７に記載のコンピュータ可読媒体。
［Ｃ２０］
前記調節されたキャプチャされたビデオを符号化することは、前記調節されたキャプチャされたビデオをトリミングすることを備える、Ｃ１７に記載のコンピュータ可読媒体。

Claims (20)

1. ２つの向きで、ビデオキャプチャデバイス上でキャプチャされたビデオを符号化する方法であって、
   シーンのビデオがキャプチャされているときに、前記ビデオキャプチャデバイスから第１の向きに関する向きデータを読み取ることと、ここにおいて、前記第１の向きは、第１の解像度を有する、
   前記シーンの前記ビデオがキャプチャされているときに、前記ビデオキャプチャデバイスが第２の向きに回転されると決定することと、ここにおいて、前記第２の向きは、第２の解像度を有する、
   前記ビデオキャプチャデバイスが前記第２の向きにある場合に前記シーンのビデオがキャプチャされているときに、前記ビデオキャプチャデバイスから向きデータを読み取ることと、
   前記第１の向きと前記第２の向きとの関係性に基づいて回転行列を生成することと、
   前記ビデオキャプチャデバイスが前記第１の向きにある場合にキャプチャされた前記ビデオの前記向きと一致するように、前記ビデオキャプチャデバイスが前記第２の向きにある場合にキャプチャされた前記ビデオのフレームの前記向きを調節することと、
   前記ビデオキャプチャデバイスが前記第２の向きにある場合にキャプチャされた前記ビデオの前記調節されたフレームをトリミングすることと、前記トリミングされたフレームは、前記第１の解像度を有する、
   前記キャプチャされたビデオの前記トリミングされたフレームを符号化することと
   を備える方法。
2. 前記向きデータは、加速度計またはジャイロスコープからの慣性測定データである、請求項１に記載の方法。
3. 前記ビデオキャプチャデバイスは、モバイル電話またはタブレットを備える、請求項１に記載の方法。
4. 前記調節されたキャプチャされたビデオを、前記ビデオキャプチャデバイスのメモリに記憶することをさらに備える、請求項１に記載の方法。
5. 前記回転されたキャプチャされたビデオは、ビデオ表示機能を有する別のデバイスに送信される、請求項１に記載の方法。
6. 前記第１の向きは、重力の加速度が前記ビデオキャプチャデバイスの垂直軸とアラインする真の向きである、請求項１に記載の方法。
7. 前記回転行列は、連続したフレームの重力ベクトルを前記ビデオキャプチャデバイスのＸ−Ｙ平面上に投影することによって決定される回転角度を含む、請求項１に記載の方法。
8. 前記重力ベクトルを投影することは、前記重力ベクトルのＺ成分を投影することを含まない、請求項７に記載の方法。
9. 前記回転行列は２×２行列を備える、請求項１に記載の方法。
10. ２つの向きで、ビデオキャプチャデバイス上でビデオキャプチャを符号化するためのシステムであって、
    シーンのビデオをキャプチャするように構成された画像センサと、
    前記ビデオキャプチャデバイスが第１の向きにある場合にシーンのビデオがキャプチャされているときに、前記ビデオキャプチャデバイスから向きデータを提供する、および前記ビデオキャプチャデバイスが第２の向きに回転される場合にシーンのビデオがキャプチャされているときに、前記ビデオキャプチャデバイスから向きを提供するように構成された加速度計またはジャイロスコープのうちの少なくとも１つを備える慣性測定ユニットと、ここにおいて、前記第１の向きは、第１の解像度を有し、前記第２の向きは、第２の解像度を有する、
    前記第１の向きと前記第２の向きとの関係性に基づいて回転行列を生成することと、
    前記ビデオキャプチャデバイスが前記第１の向きにある場合にキャプチャされた前記ビデオの前記向きと一致するように、前記ビデオキャプチャデバイスが前記第２の向きにある場合にキャプチャされた前記ビデオのフレームの前記向きを調節することと、
    前記ビデオキャプチャデバイスが前記第２の向きにある場合にキャプチャされた前記ビデオの前記調節されたフレームをトリミングすることと、前記トリミングされたフレームは、前記第１の解像度を有する、
    を行うように構成された回転モジュールを実行するプロセッサと、
    前記キャプチャされたビデオの前記トリミングされたフレームを符号化するように構成されたエンコーダと
    を備えるシステム。
11. 前記ビデオキャプチャデバイスは、モバイル電話またはタブレットを備える、請求項１０に記載のシステム。
12. 前記調節されたキャプチャされたビデオを記憶するように構成された記憶装置をさらに備える、請求項１０に記載のシステム。
13. 前記調節されたキャプチャされたビデオを、ビデオ表示機能を有する第２のデバイスに送信するための送信機をさらに備える、請求項１０に記載のシステム。
14. ２つの向きで、ビデオキャプチャデバイス上でキャプチャされたビデオを符号化するシステムであって、
    前記ビデオキャプチャデバイスが第１の向きにある場合にシーンのビデオがキャプチャされているときに、前記ビデオキャプチャデバイスから向きデータを読み取るための手段と、ここにおいて、前記第１の向きは、第１の解像度を有する、
    前記シーンの前記ビデオがキャプチャされているときに、前記ビデオキャプチャデバイスが第２の向きに回転されると決定するための手段と、ここにおいて、前記第２の向きは、第２の解像度を有する、
    前記ビデオキャプチャデバイスが前記第２の向きにある場合に前記シーンのビデオがキャプチャされているときに、前記ビデオキャプチャデバイスから向きデータを読み取るための手段と、
    前記第１の向きと前記第２の向きとの関係性に基づいて回転行列を生成するための手段と、
    前記ビデオキャプチャデバイスが前記第１の向きにある場合にキャプチャされた前記ビデオの前記向きと一致するように、前記ビデオキャプチャデバイスが前記第２の向きにある場合にキャプチャされた前記ビデオのフレームの前記向きを調節するための手段と、
    前記ビデオキャプチャデバイスが前記第２の向きにある場合にキャプチャされた前記ビデオの前記調節されたフレームをトリミングするための手段と、前記トリミングされたフレームは、前記第１の解像度を有する、
    前記キャプチャされたビデオの前記トリミングされたフレームを符号化するための手段と
    を備えるシステム。
15. 向きデータを読み取るための前記手段は、向きデータを提供するように構成された慣性測定ユニットを備える、請求項１４に記載のシステム。
16. 回転行列を生成するための前記手段は、プロセッサによって動作されるように構成された回転モジュールを備える、請求項１４に記載のシステム。
17. 前記回転されたキャプチャされたビデオを符号化するための前記手段は、ビデオエンコーダを備える、請求項１４に記載のシステム。
18. 命令を記憶するように構成された非一時的なコンピュータ可読媒体であって、前記命令は、プロセッサによって実行されると、
    シーンのビデオがキャプチャされているときに、ビデオキャプチャデバイスから第１の向きに関する向きデータを読み取ることと、ここにおいて、前記第１の向きは、第１の解像度を有する、
    前記シーンの前記ビデオがキャプチャされているときに、前記ビデオキャプチャデバイスが第２の向きに回転されると決定することと、ここにおいて、前記第２の向きは、第２の解像度を有する、
    前記ビデオキャプチャデバイスが前記第２の向きにある場合に前記シーンのビデオがキャプチャされているときに、前記ビデオキャプチャデバイスから向きデータを読み取ることと、
    前記第１の向きと前記第２の向きとの関係性に基づいて回転行列を生成することと、
    前記ビデオキャプチャデバイスが前記第２の向きに動いた後に前記ビデオが前記第１の向きで符号化されたままになるように、前記ビデオキャプチャデバイスが前記第１の向きにある場合にキャプチャされた前記ビデオの前記向きと一致するように、前記ビデオキャプチャデバイスが前記第２の向きにある場合にキャプチャされた前記ビデオのフレームの前記向きを調節することと、
    前記ビデオキャプチャデバイスが前記第２の向きにある場合にキャプチャされた前記ビデオの前記調節されたフレームをトリミングすることと、前記トリミングされたフレームは、前記第１の解像度を有する、
    前記キャプチャされたビデオの前記トリミングされたフレームを符号化することと
    を備える方法を行う、コンピュータ可読媒体。
19. 前記向きデータは、加速度計またはジャイロスコープからの慣性測定データである、請求項１８に記載のコンピュータ可読媒体。
20. 前記向きデータは、加速度計データである、請求項１８に記載のコンピュータ可読媒体。

Images