JP7039691B6 - パノラマ映像の手振れ補正方法、装置及び携帯端末 - Google Patents

パノラマ映像の手振れ補正方法、装置及び携帯端末 Download PDF

Info

Publication number
JP7039691B6
JP7039691B6 JP2020519411A JP2020519411A JP7039691B6 JP 7039691 B6 JP7039691 B6 JP 7039691B6 JP 2020519411 A JP2020519411 A JP 2020519411A JP 2020519411 A JP2020519411 A JP 2020519411A JP 7039691 B6 JP7039691 B6 JP 7039691B6
Authority
JP
Japan
Prior art keywords
gyroscope
rotation
angular velocity
count value
time stamp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020519411A
Other languages
English (en)
Other versions
JP7039691B2 (ja
JP2020536460A (ja
Inventor
聡 陳
錦霖 蔡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Arashi Vision Inc
Original Assignee
Arashi Vision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Arashi Vision Inc filed Critical Arashi Vision Inc
Publication of JP2020536460A publication Critical patent/JP2020536460A/ja
Publication of JP7039691B2 publication Critical patent/JP7039691B2/ja
Application granted granted Critical
Publication of JP7039691B6 publication Critical patent/JP7039691B6/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/18—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration in two or more dimensions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/02—Devices characterised by the use of mechanical means
    • G01P3/16—Devices characterised by the use of mechanical means by using centrifugal forces of solid masses
    • G01P3/22—Devices characterised by the use of mechanical means by using centrifugal forces of solid masses transferred to the indicator by electric or magnetic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Gyroscopes (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Description

本発明は、映像処理の分野に関し、特に、パノラマ映像の手振れ補正方法、装置及び携帯端末に関する。
従来技術によるパノラマ映像は、ＶＲゴーグルを掛けて見ると、吐き気、めまいなどの違和感を生じ、ＶＲ酔いは、未だあまり解決されてない問題である。ハードウェア面でブレークスルーできていないことに加えて、ソフトウェア面での原因もある。特に、ＶＲパノラマ映像は、例えば、手持ち式パノラマカメラを使用して撮影する場合、画面の手振れによるＶＲ酔いの発生が更に加速される。
本発明の目的は、パノラマ映像の手振れ補正方法、装置、コンピューター可読記憶媒体及び携帯端末を提供し、画面の手振れがＶＲ酔いの発生を加速させる問題を解決することである。
本発明によるパノラマ映像の手振れ補正方法は、携帯端末におけるジャイロスコープの現在の状態のタイムスタンプ、加速度カウント値、角速度値をリアルタイムで取得し、拡張カルマンフィルターを使用して、加速度カウント値と角速度値を結合することによって、携帯端末からワールド座標系までの回転量を推定し、ジャイロスコープのタイムスタンプとパノラマ映像フレームのタイムスタンプを同期させ、ジャイロスコープの状態に対しクォータニオン補間を行って、パノラマ映像フレームに対応する回転行列を取得し；現在の回転行列によってパノラマ画像を回転させて、安定した映像フレームを生成する。
また、本発明によるパノラマ映像の手振れ補正装置は、携帯端末におけるジャイロスコープの現在の状態のタイムスタンプ、加速度カウント値、角速度値をリアルタイムで取得する取得モジュールと、拡張カルマンフィルターを使用して、加速度カウント値と角速度値を結合することによって、携帯端末からワールド座標系までの回転量を推定する推定モジュールと、ジャイロスコープのタイムスタンプとパノラマ映像フレームのタイムスタンプを同期させる同期モジュールと、ジャイロスコープの状態に対しクォータニオン補間を行って、パノラマ映像フレームに対応する回転行列を取得する補間モジュールと、現在の回転行列によってパノラマ画像を回転させて、安定した映像フレームを生成する回転モジュールとを備える。
また、本発明によるコンピューター可読記憶媒体は、コンピュータープログラムが記憶されており、処理装置により前記コンピュータープログラムを実行する際、本発明による前記パノラマ映像の手振れ補正方法を実現する。
また、本発明による携帯端末は、一つ又は複数の処理装置と、記憶装置と、一つ又は複数のコンピュータープログラムとを備え、前記一つ又は複数のコンピュータープログラムは、前記記憶装置に記憶され、前記一つ又は複数の処理装置により実行されるように配置され、前記処理装置により前記コンピュータープログラムを実行する際、本発明による前記パノラマ映像の手振れ補正方法を実現する。
本発明によれば、ジャイロスコープの状態に対しクォータニオン補間を行ってパノラマ映像フレームに対応する回転行列を取得するため、より正確な回転行列を得ることができる。そして、現在の回転行例によってパノラマ画像を回転させて安定した映像フレームを生成する。これにより、最終的に振れる映像フレームを安定させて、ＶＲ酔いを低減することができ、ノイズの多い場面やほとんどのスポーツシーンに対し非常に強いロバスト性をもたらす。
本発明の第一の実施形態によるパノラマ映像の手振れ補正方法を説明するためのフローチャートである。 本発明の第一の実施形態によるパノラマ映像の手振れ補正方法のステップＳ１０２のフローチャートである。 本発明の第一の実施形態によるパノラマ映像の手振れ補正装置の構成図である。 本発明の第一の実施形態による携帯端末の構成図である。
本発明の目的、技術的手段及び有益な効果をより明確に説明するために、以下、図面、実施形態に基づいて具体的に説明する。当然のことであるが、下記実施形態は本発明を説明するためのものであり、本発明を限定するものではない。
[第一の実施形態]
図１に示すように、本実施形態によるパノラマ映像の手振れ補正方法は以下のステップを含む。
Ｓ１０１：携帯端末におけるジャイロスコープの現在の状態のタイムスタンプ、加速度カウント値、角速度値をリアルタイムで取得する。
ここで、携帯端末におけるジャイロスコープの加速度カウント値をリアルタイムで取得することは、加速度センサーを利用して３軸加速度カウント値を読み込むことである。
また、携帯端末におけるジャイロスコープの角速度値をリアルタイムで取得することは、ジャイロセンサーを利用して３軸角速度カウント値を読み込むことである。
ステップＳ１０１を行った後、下記のようなステップを行ってもよい。即ち、ローパスフィルタリングを利用して、加速度カウント値に対し雑音低減処理を行う。
具体的には、下記式に基づいて加速度カウント値に対し、ローパスフィルタリングによる雑音低減処理を行う。
Figure 0007039691000001
ここで、d’iは第i時点のローパスフィルタリング後の加速度カウント値であり、diは第i時点の加速度カウント値であり、Riはジャイロスコープの第iフレーム映像の相対回転量で、Ri=exp[-ωi・Δt]xであり、ωiは第i時点の角速度値であり、d’i-1は第i－１時点のフィルタリング後の加速度カウント値であり、αはスムージング因子で、
Figure 0007039691000002
であり、fcはローパスフィルタリングの遮断周波数であり、Rcは時定数であり、Δtはジャイロスコープデータのサンプリング時間の間隔である。
Ｓ１０２：拡張カルマンフィルター（Extended Kalman Filtering）を使用して、加速度カウント値と角速度値を結合することによって、携帯端末からワールド座標系までの回転量を推定する。
拡張カルマンフィルターは、非線形システムを線形化してからカルマンフィルタリングを行う、高効率の再帰形フィルターであって、雑音を完全に含んでいない一連のテストから、動的システムの状態を推定することができる。
図２に示すように、本実施形態においてＳ１０２は具体的に下記ステップを含んでもよい。
Ｓ１０２１：状態の回転量を初期化する。
Figure 0007039691000003
ここで、d0は初期に測定した加速度値であり、gはワールド座標系の重力ベクトルであり、
そして、過程共分散を初期化する。
Figure 0007039691000004
Ｓ１０２２：角速度値ωkを使用して第ｋ時点の状態遷移行列Φ(ωk)を計算する。
Figure 0007039691000005
ここで、ωkは第ｋ時点の角速度値であり、Δtはジャイロスコープデータのサンプリング時間の間隔である。
Figure 0007039691000006
ここで、Ｑkは状態雑音の共分散行列である。
Figure 0007039691000007
Ｓ１０２４：加速度値dkにより観測量の雑音分散行列を更新し、観測遷移ヤコビ行列Hkを計算し、現在の観測量と推定観測量誤差ekを計算する。
Figure 0007039691000008
ここで、αは加速度変化量のスムージング因子であり、βは加速度大きさの影響因子であり、
Figure 0007039691000009
ここで、ｈは観察関数であり、
Figure 0007039691000010
ここで、ｇはワールド座標系の重力ベクトルであり、ｑは状態量、即ちワールド座標系からジャイロスコープ座標系までの回転量であり、vkは測定雑音である。
Figure 0007039691000011
Ｓ１０２５：第ｋ時点の最適カルマン利得行列Kkを更新する。
Figure 0007039691000012
Figure 0007039691000013
Ｓ１０３：ジャイロスコープのタイムスタンプとパノラマ映像フレームのタイムスタンプを同期させる。
ステップＳ１０３は具体的には、tk≧tj＞tk-1になるようジャイロスコープのタイムスタンプとパノラマ映像フレームのタイムスタンプを同期させる。ここで、tjはパノラマ映像のタイムスタンプであり、tkはジャイロスコープの第ｋフレームのタイムスタンプであり、tk-1はジャイロスコープの第ｋ-1フレームのタイムスタンプである。
Ｓ１０４：ジャイロスコープの状態に対しクォータニオン補間を行って、パノラマ映像フレームに対応する回転行列を取得する。
本実施形態において、Ｓ１０４は具体的に下記ステップを含んでもよい。まず、隣接するジャイロスコープのタイムスタンプの相対回転量を計算する。
Figure 0007039691000014
また、クォータニオン補間を行って、パノラマ映像フレームから第ｋフレームまでの相対回転量を取得する。
Figure 0007039691000015
ここで、Rjは第ｋフレームの相対回転量である。
Figure 0007039691000016
また、パノラマ映像フレーム中の第ｊフレームの映像の回転行列を計算する。
Figure 0007039691000017
Ｓ１０５：現在の回転行列によってパノラマ画像を回転させて、安定した映像フレームを生成する。
本実施形態において、Ｓ１０５は具体的に下記ステップを含んでもよい。即ち、経緯度二次元画像における格子点を球面座標系にマッピングし、単位球上のすべての点をトラバースして、現在の回転行列を使用して単位球上のすべての点に対し回転を行って、安定した映像フレームを生成する。
具体的には、下記式により現在の回転行列を使用して単位球上のすべての点に対し回転を行って、安定した映像フレームを生成する。
Figure 0007039691000018
ここで、[x,y,z]Tは単位円の回転前の球面座標であり、[xnew,ynew,znew]Tは回転後の球面座標であり、Qjは現在の回転行列であり、ｔは変位ベクトルで、t=[0,0,0]Tである。
[第二の実施形態]
図３に示すように、本実施形態によるパノラマ映像の手振れ補正装置は、携帯端末におけるジャイロスコープの現在の状態のタイムスタンプ、加速度カウント値、角速度値をリアルタイムで取得する取得モジュール１１と、拡張カルマンフィルターを使用して、加速度カウント値と角速度値を結合することによって、携帯端末からワールド座標系までの回転量を推定する推定モジュール１２と、ジャイロスコープのタイムスタンプとパノラマ映像フレームのタイムスタンプを同期させる同期モジュール１３と、ジャイロスコープの状態に対しクォータニオン補間を行って、パノラマ映像フレームに対応する回転行列を取得する補間モジュール１４と、現在の回転行列によってパノラマ画像を回転させて、安定した映像フレームを生成する回転モジュール１４とを備える。
本発明の第二の実施形態によるパノラマ映像の手振れ補正装置と第一の実施形態によるパノラマ映像の手振れ補正方法は、同一の概念に属し、詳しい実現については本明細書に記載されているので、ここでは改めて言及しない。
［第三の実施形態］
本実施形態よるコンピューター可読記憶媒体は、コンピュータープログラムが記憶されており、処理装置によりコンピュータープログラムを実行する際、上記第一の実施形態によるパノラマ映像の手振れ補正方法のステップを実現する。
［第四の実施形態］
図４には本実施形態による携帯端末の構成ブロック図が示され、携帯端末１００は、一つ又は複数の処理装置１０１と、記憶装置１０２と、一つ又は複数のコンピュータープログラムとを備える。処理装置１０１と記憶装置１０２は、バス（bus）により接続されており、一つ又は複数のコンピュータープログラムは記憶装置１０２に記憶され、一つ又は複数の処理装置１０１により実行されるように配置されている。処理装置１０１によりコンピュータープログラムを実行する際、上記第一の実施形態によるパノラマ映像の手振れ補正方法のステップを実現する。
本発明の実施形態において、ジャイロスコープの状態に対しクォータニオン補間を行ってパノラマ映像フレームに対応する回転行列を取得するため、より正確な回転行列を得ることができる。そして、現在の回転行例によってパノラマ画像を回転させて安定した映像フレームを生成する。これにより、最終的に振れる映像フレームを安定させて、ＶＲ酔いを低減することができ、ノイズの多い場面やほとんどのスポーツシーンに対し非常に強いロバスト性をもたらす。
当然のことであるが、上述した方法におけるすべて又は一部のステップは、プログラムで関連のハードウェアに指令を出して完了することができ、そのプログラムをコンピューター可読記憶媒体に記憶することができる。ここで、記憶媒体としては、例えば、ＲＯＭ／ＲＡＭ、磁気ディスク、光ディスクなどがある。
以上のように、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、本発明の趣旨及びその範囲から逸脱しない限り、その趣旨に基づいて変更、同等代替又は改善することができ、いずれも本発明の保護範囲に含まれる。

Claims (9)

  1. 携帯端末におけるジャイロスコープの現在の状態のタイムスタンプ、加速度カウント値、角速度値をリアルタイムで取得し、
    拡張カルマンフィルターを使用して、加速度カウント値と角速度値を結合することによって、携帯端末からワールド座標系までの回転量を推定し、
    ジャイロスコープのタイムスタンプとパノラマ映像フレームのタイムスタンプを同期させ、
    ジャイロスコープの状態に対しクォータニオン補間を行って、パノラマ映像フレームに対応する回転行列を取得し、
    現在の回転行列によってパノラマ画像を回転させて、安定した映像フレームを生成し、
    前記拡張カルマンフィルターを使用して、加速度カウント値と角速度値を結合することによって、携帯端末からワールド座標系までの回転量を推定することは、
    Ｓ１０２１：状態回転量を初期化し、
    Figure 0007039691000019
    ここで、d 0 は初期に測定した加速度値であり、gはワールド座標系の重力ベクトルであり、
    過程共分散を初期化し、
    Figure 0007039691000020
    Ｓ１０２２：角速度値ω k を使用して第ｋ時点の状態遷移行列Φ(ω k )を計算し、
    Figure 0007039691000021
    ここで、ω k は第ｋ時点の角速度値であり、Δtはジャイロスコープデータのサンプリング時間の間隔であり、
    Figure 0007039691000022
    Ｓ１０２４：加速度値d k により観測量の雑音分散行列を更新し、観測遷移ヤコビ行列H k を計算し、現在の観測量と推定観測量誤差e k を計算し、
    Figure 0007039691000023
    ここで、ｈは観察関数であり、
    Figure 0007039691000024
    ここで、ｇはワールド座標系の重力ベクトルであり、ｑは状態量、即ちワールド座標系からジャイロスコープ座標系までの回転量であり、v k は測定雑音であり、
    Figure 0007039691000025
    ことを特徴とするパノラマ映像の手振れ補正方法。
  2. 携帯端末におけるジャイロスコープの加速度カウント値をリアルタイムで取得することは、加速度センサーを利用して３軸加速度カウント値を読み込むことであり、
    携帯端末におけるジャイロスコープの角速度値をリアルタイムで取得することは、ジャイロセンサーを利用して３軸角速度カウント値を読み込むことである
    ことを特徴とする請求項１に記載のパノラマ映像の手振れ補正方法。
  3. 携帯端末におけるジャイロスコープの現在の状態のタイムスタンプ、加速度カウント値、角速度値をリアルタイムで取得した後、更に、
    ローパスフィルタリングを利用して加速度カウント値に対し雑音低減処理を行い、
    Figure 0007039691000026
    に基づいて加速度カウント値に対し、ローパスフィルタリングによる雑音低減処理を行い、ここで、d’iは第i時点のローパスフィルタリング後の加速度カウント値であり、diは第i時点の加速度カウント値であり、Riはジャイロスコープの第iフレーム映像の相対回転量で、Ri=exp[-ωi・Δt]xであり、ωiは第i時点の角速度値であり、d’i-1は第i－１時点のフィルタリング後の加速度カウント値であり、αはスムージング因子で、
    Figure 0007039691000027
    であり、fcはローパスフィルタリングの遮断周波数であり、Rcは時定数であり、Δtはジャイロスコープデータのサンプリング時間の間隔である
    ことを特徴とする請求項１に記載のパノラマ映像の手振れ補正方法。
  4. 前記ジャイロスコープのタイムスタンプとパノラマ映像フレームのタイムスタンプを同期させることは、
    Tk≧tj≧tk-1になるように前記ジャイロスコープのタイムスタンプとパノラマ映像フレームのタイムスタンプを同期させることであり、
    ここで、tjはパノラマ映像のタイムスタンプであり、tkはジャイロスコープの第ｋフレームのタイムスタンプであり、tk-1はジャイロスコープの第ｋ-1フレームのタイムスタンプである
    ことを特徴とする請求項１に記載のパノラマ映像の手振れ補正方法。
  5. 前記ジャイロスコープの状態に対しクォータニオン補間を行って、パノラマ映像フレームに対応する回転行列を取得することは、
    隣接するジャイロスコープのタイムスタンプの相対回転量を計算し、
    Figure 0007039691000028
    ことを特徴とする請求項４に記載のパノラマ映像の手振れ補正方法。
  6. 前記現在の回転行列によってパノラマ画像を回転させて、安定した映像フレームを生成することは、
    経緯度二次元画像における格子点を球面座標系にマッピングし、
    単位球上のすべての点をトラバースして、現在の回転行列を利用して単位球上のすべての点に対し回転を行って、安定した映像フレームを生成し、
    ここで、下記式により前記現在の回転行列を利用して単位球上のすべての点に対し回転を行って、安定した映像フレームを生成し、
    Figure 0007039691000029
    ここで、[x,y,z]Tは単位円の回転前の球面座標であり、[xnew,ynew,znew]Tは回転後の球面座標であり、Qjは現在の回転行列であり、ｔは変位ベクトルで、t=[0,0,0]Tである
    ことを特徴とする請求項５に記載のパノラマ映像の手振れ補正方法。
  7. 携帯端末におけるジャイロスコープの現在の状態のタイムスタンプ、加速度カウント値、角速度値をリアルタイムで取得する取得モジュールと、
    拡張カルマンフィルターを使用して、加速度カウント値と角速度値を結合することによって、携帯端末からワールド座標系までの回転量を推定する推定モジュールと、
    ジャイロスコープのタイムスタンプとパノラマ映像フレームのタイムスタンプを同期させる同期モジュールと、
    ジャイロスコープの状態に対しクォータニオン補間を行って、パノラマ映像フレームに対応する回転行列を取得する補間モジュールと、
    現在の回転行列によってパノラマ画像を回転させて、安定した映像フレームを生成する回転モジュールとを備え、
    前記拡張カルマンフィルターを使用して、加速度カウント値と角速度値を結合することによって、携帯端末からワールド座標系までの回転量を推定することは、
    Ｓ１０２１：状態回転量を初期化し、
    Figure 0007039691000030
    ここで、d 0 は初期に測定した加速度値であり、gはワールド座標系の重力ベクトルであり、
    過程共分散を初期化し、
    Figure 0007039691000031
    Ｓ１０２２：角速度値ω k を使用して第ｋ時点の状態遷移行列Φ(ω k )を計算し、
    Figure 0007039691000032
    ここで、ω k は第ｋ時点の角速度値であり、Δtはジャイロスコープデータのサンプリング時間の間隔であり、
    Figure 0007039691000033
    Figure 0007039691000034
    Ｓ１０２４：加速度値d k により観測量の雑音分散行列を更新し、観測遷移ヤコビ行列H k を計算し、現在の観測量と推定観測量誤差e k を計算し、
    Figure 0007039691000035
    ここで、ｈは観察関数であり、
    Figure 0007039691000036
    ここで、ｇはワールド座標系の重力ベクトルであり、ｑは状態量、即ちワールド座標系からジャイロスコープ座標系までの回転量であり、v k は測定雑音であり、
    Figure 0007039691000037
    ことを特徴とするパノラマ映像の手振れ補正装置。
  8. コンピュータープログラムが記憶されており、
    処理装置により前記コンピュータープログラムを実行する際、前記請求項１乃至６のいずれか一項に記載のパノラマ映像の手振れ補正方法を実現する
    ことを特徴とするコンピューター可読記憶媒体。
  9. 一つ又は複数の処理装置と、
    記憶装置と、
    一つ又は複数のコンピュータープログラムとを備え、
    前記一つ又は複数のコンピュータープログラムは、前記記憶装置に記憶され、前記一つ又は複数の処理装置により実行されるように配置され、
    前記処理装置により前記コンピュータープログラムを実行する際、前記請求項１乃至６のいずれか一項に記載のパノラマ映像の手振れ補正方法を実現する
    ことを特徴とする携帯端末。
JP2020519411A 2017-10-25 2018-10-16 パノラマ映像の手振れ補正方法、装置及び携帯端末 Active JP7039691B6 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201711015180.0 2017-10-25
CN201711015180.0A CN107801014B (zh) 2017-10-25 2017-10-25 一种全景视频防抖的方法、装置及便携式终端
PCT/CN2018/110467 WO2019080748A1 (zh) 2017-10-25 2018-10-16 一种全景视频防抖的方法、装置及便携式终端

Publications (3)

Publication Number Publication Date
JP2020536460A JP2020536460A (ja) 2020-12-10
JP7039691B2 JP7039691B2 (ja) 2022-03-22
JP7039691B6 true JP7039691B6 (ja) 2022-05-16

Family

ID=61547658

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020519411A Active JP7039691B6 (ja) 2017-10-25 2018-10-16 パノラマ映像の手振れ補正方法、装置及び携帯端末

Country Status (5)

Country Link
US (1) US11057567B2 (ja)
EP (1) EP3703006B1 (ja)
JP (1) JP7039691B6 (ja)
CN (1) CN107801014B (ja)
WO (1) WO2019080748A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107801014B (zh) * 2017-10-25 2019-11-08 深圳岚锋创视网络科技有限公司 一种全景视频防抖的方法、装置及便携式终端
CN108462838B (zh) * 2018-03-16 2020-10-02 影石创新科技股份有限公司 一种全景视频防抖方法、装置及便携式终端
CN108600616A (zh) * 2018-04-04 2018-09-28 深圳市极酷威视科技有限公司 一种基于rtp帧同步的视频防抖系统和视频获取器材
CN110740247B (zh) * 2018-07-18 2021-10-08 腾讯科技（深圳）有限公司 视频增稳方法、装置、计算机设备及存储介质
GB2575824B (en) 2018-07-24 2022-08-03 Displaylink Uk Ltd Generating display data
CN109561253B (zh) * 2018-12-18 2020-07-10 影石创新科技股份有限公司 一种全景视频防抖的方法、装置、便携式终端及存储介质
CN109688327B (zh) * 2018-12-18 2020-08-07 影石创新科技股份有限公司 一种全景视频防抖的方法、装置及便携式终端
CN110166695B (zh) * 2019-06-26 2021-10-01 Oppo广东移动通信有限公司 摄像头防抖方法、装置、电子设备和计算机可读存储介质
CN110519507B (zh) * 2019-07-23 2021-03-19 影石创新科技股份有限公司 一种相机镜头平滑处理方法、装置及便携式终端
CN110351508B (zh) * 2019-08-13 2021-09-28 Oppo广东移动通信有限公司 基于录像模式的防抖处理方法和装置、电子设备
CN110933309A (zh) * 2019-12-03 2020-03-27 深圳市圆周率软件科技有限责任公司 一种多目全景相机全景防抖方法及系统
US11611700B2 (en) * 2020-07-12 2023-03-21 Skydio, Inc. Unmanned aerial vehicle with virtual un-zoomed imaging
CN112017215B (zh) * 2020-08-06 2023-08-25 影石创新科技股份有限公司 图像处理方法、装置、计算机可读存储介质及计算机设备
CN112188037B (zh) * 2020-09-24 2023-03-24 影石创新科技股份有限公司 生成陀螺仪旋转方向的方法及计算机设备
CN112660144B (zh) * 2020-12-04 2022-06-24 上汽通用五菱汽车股份有限公司 横摆角速度滤波方法、控制终端、车辆及存储介质
CN114979456B (zh) * 2021-02-26 2023-06-30 影石创新科技股份有限公司 视频数据的防抖处理方法、装置、计算机设备和存储介质
CN113395454B (zh) * 2021-07-06 2023-04-25 Oppo广东移动通信有限公司 图像拍摄的防抖方法与装置、终端及可读存储介质
CN114040128B (zh) * 2021-11-24 2024-03-01 视辰信息科技(上海)有限公司 时间戳延时标定方法及系统、设备和计算机可读存储介质
CN116048955B (zh) * 2022-07-19 2023-10-20 荣耀终端有限公司 一种测试方法及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016201423A1 (en) 2015-06-12 2016-12-15 Google Inc. Electronic display stabilization for head mounted display
CN107040694A (zh) 2017-04-07 2017-08-11 深圳岚锋创视网络科技有限公司 一种全景视频防抖的方法、系统及便携式终端

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5051751A (en) 1991-02-12 1991-09-24 The United States Of America As Represented By The Secretary Of The Navy Method of Kalman filtering for estimating the position and velocity of a tracked object
CN103077509B (zh) 2013-01-23 2015-10-28 天津大学 利用离散立方体全景图实时合成连续平滑全景视频的方法
CN103813099A (zh) * 2013-12-13 2014-05-21 中山大学深圳研究院 一种基于特征点匹配的视频防抖方法
CN104331902B (zh) 2014-10-11 2018-10-16 深圳超多维科技有限公司 目标跟踪方法、跟踪装置和3d显示方法及显示装置
CN104869310A (zh) * 2015-05-18 2015-08-26 成都平行视野科技有限公司 基于移动设备gpu和角速度传感器的视频拍摄防抖方法
CN108886573A (zh) * 2016-05-20 2018-11-23 深圳市大疆灵眸科技有限公司 用于数字视频增稳的系统和方法
CN106210544B (zh) * 2016-08-18 2020-06-02 惠州Tcl移动通信有限公司 一种移动终端及其拍摄视频的防抖处理方法、系统
CN107801014B (zh) 2017-10-25 2019-11-08 深圳岚锋创视网络科技有限公司 一种全景视频防抖的方法、装置及便携式终端

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016201423A1 (en) 2015-06-12 2016-12-15 Google Inc. Electronic display stabilization for head mounted display
CN107040694A (zh) 2017-04-07 2017-08-11 深圳岚锋创视网络科技有限公司 一种全景视频防抖的方法、系统及便携式终端

Also Published As

Publication number Publication date
JP7039691B2 (ja) 2022-03-22
US11057567B2 (en) 2021-07-06
US20200314340A1 (en) 2020-10-01
EP3703006A1 (en) 2020-09-02
WO2019080748A1 (zh) 2019-05-02
EP3703006A4 (en) 2021-06-02
CN107801014B (zh) 2019-11-08
EP3703006B1 (en) 2022-08-03
JP2020536460A (ja) 2020-12-10
CN107801014A (zh) 2018-03-13

Similar Documents

Publication Publication Date Title
JP7039691B6 (ja) パノラマ映像の手振れ補正方法、装置及び携帯端末
JP6937809B2 (ja) 制約ベースの回転平滑化を介してデジタルビデオを安定化するためのシステムおよび方法
JP6941687B2 (ja) パノラマビデオジッター補正の方法、システム及び携帯端末
Karpenko et al. Digital video stabilization and rolling shutter correction using gyroscopes
JP6204585B2 (ja) マルチメディア・クリップに対するビデオ安定化の適用
Jia et al. Probabilistic 3-d motion estimation for rolling shutter video rectification from visual and inertial measurements
CN108827341B (zh) 用于确定图像采集装置的惯性测量单元中的偏差的方法
EP3296952B1 (en) Method and device for blurring a virtual object in a video
US9838572B2 (en) Method and device for determining movement between successive video images
JP2017147682A (ja) 全天球撮影システム
CN109040525B (zh) 图像处理方法、装置、计算机可读介质及电子设备
JP2017017689A (ja) 全天球動画の撮影システム、及びプログラム
WO2019000664A1 (zh) 一种信息处理方法及电子设备
WO2016008364A1 (zh) 星轨拍摄方法、物体运动轨迹拍摄方法、装置及存储介质
CN109688327B (zh) 一种全景视频防抖的方法、装置及便携式终端
JP2016070884A (ja) 映像データ処理方法、映像データ処理装置及び映像データ処理プログラム
EP2980752B1 (en) Image processing device, image processing system, image processing method, and image processing program
CN113301249B (zh) 全景视频处理方法、装置、计算机设备和存储介质
US20190166314A1 (en) Ortho-selfie distortion correction using multiple sources
JP7025042B2 (ja) 全天球画像生成方法、全天球画像生成表示方法、全天球画像生成システムのプログラム及び全天球画像生成表示システムのプログラム
JP6901580B2 (ja) パノラマ画像または映像の水平較正方法、システムおよび携帯端末
CN111949114A (zh) 图像处理方法、装置及终端
CN116170689A (zh) 视频生成方法、装置、计算机设备和存储介质
Hanning Video stabilization and rolling shutter correction using inertial measurement sensors
CN117221725A (zh) 一种视频运动平滑处理方法、装置、设备和存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200403

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210927

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220309

R150 Certificate of patent or registration of utility model

Ref document number: 7039691

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R154 Certificate of patent or utility model (reissue)

Free format text: JAPANESE INTERMEDIATE CODE: R154