JP7383642B2

JP7383642B2 - 映像ジッターを除去するための方法及び装置

Info

Publication number: JP7383642B2
Application number: JP2020563582A
Authority: JP
Inventors: チェン，ルイチ
Original assignee: アリババグループホウルディングリミテッド
Priority date: 2018-05-31
Filing date: 2019-05-21
Publication date: 2023-11-20
Anticipated expiration: 2039-05-21
Also published as: US11317008B2; CN110557522A; US20210084198A1; TW202005353A; JP2021524960A; EP3806445A4; EP3806445A1; WO2019228219A1

Description

本出願は、参照によりその内容全体が本出願に援用される、２０１８年３月３１日に出願されたい「METHOD AND APPARATUS FOR REMOVING VIDEO JITTER」という名称の中国特許出願公開第２０１８１０５５４２６６．９号の優先権を主張する。

技術分野
本出願は、映像処理の分野に関し、特に映像ジッターを除去するための方法及び装置に関する。本出願は、電子デバイス及びコンピュータ可読記憶媒体にも関する。

背景
一定期間の映像は、急速且つ連続的に変化する多くのフレームの画像によって形成される。映像を撮影する際、ビデオキャプチャーデバイスとシーンとの間の相対運動は、急速に変化する撮影された画像間の比較的大きい変位を引き起こすため、映像にジッターが生じる。

従来技術における映像ジッター除去解決策は、ライブ映像及び短い映像のリアルタイム処理要件を満足し得ない非リアルタイムジッター除去解決策である。

発明の概要
本出願は、従来技術でジッターがリアルタイムで除去され得ないという技術的問題を解決することを目的とする、映像ジッターを除去する方法を提供する。

本出願は、映像ジッターを除去する方法を提案する。本方法は、圧縮画像の各対内の特徴点対の位置情報に従って、RAW画像（ロウ画像）の各対内の特徴点対の位置情報を判断することであって、１つの特徴点対は、画像の各対内の２つの連続画像上の２つの対応する特徴点から構成され、RAW画像は、未圧縮画像である、判断すること；RAW画像の各対内の特徴点対の位置情報に従って、RAW画像の各対内の先行画像に対する後続画像の位置変更情報を判断すること；RAW画像のｎ対内の先行画像に対する後続画像の位置変更情報に従って、RAW画像の第ｍ番目の対内の先行画像に対応する変形情報を取得することであって、ｎ及びｍは、正の整数であり、且つｍは、ｎ以下である、取得すること；及びジッターが除去されたRAW画像の第ｍ番目の対内の先行画像を取得するために、RAW画像の第ｍ番目の対内の先行画像に対応する変形情報に従って、RAW画像の第ｍ番目の対内の先行画像を変形することを含む。

任意選択的に、本方法は、RAW画像を第１の待ち行列内に格納すること；及びRAW画像の各対内の先行画像に対する後続画像の位置変更情報を第２の待ち行列内に格納することをさらに含む。

任意選択的に、RAW画像のｎ対内の先行画像に対する後続画像の位置変更情報に従って、RAW画像の第ｍ番目の対内の先行画像に対応する変形情報を取得する工程は、第１の待ち行列内に格納された画像が第１の数に達し、且つ第２の待ち行列内に格納された位置変更情報が第１の数に達するとき、RAW画像のｎ対内の先行画像に対する後続画像の位置変更情報に従って、RAW画像の第ｍ番目の対内の先行画像に対応する変形情報を取得することを含む。

任意選択的に、RAW画像の第１の対内の先行画像に対応する変形情報を取得する工程後、本方法は、画像を第１の待ち行列に再び格納する前に第１の待ち行列の先頭における画像を取り出すこと；及び位置変更情報を第２の待ち行列に再び格納する前に第２の待ち行列の先頭における位置変更情報を取り出すことをさらに含む。

任意選択的に、本方法は、RAW画像の各対を第１の倍数により圧縮すること；圧縮画像の各対内の各画像上の特徴点を判断すること；圧縮画像の各対内の２つの連続画像上の２つの対応する特徴点を特徴点対として判断すること；及び圧縮画像の各対内の特徴点対の位置情報を判断することをさらに含む。

任意選択的に、圧縮画像の各対内の特徴点対の位置情報に従って、RAW画像の各対内の特徴点対の位置情報を判断する工程は、RAW画像の各対内の特徴点対の位置情報を取得するために、圧縮画像の各対内の特徴点対の位置情報を第１の倍数により拡大することを含む。

任意選択的に、圧縮画像の各対内の特徴点対の位置情報に従って、RAW画像の各対内の特徴点対の位置情報を判断する工程は、RAW画像の各対内の２つの連続画像を区画化すること；RAW画像の各対内の先行画像の対応する区画に対する後続画像の対応する区画の位置変更情報を、RAW画像の各対の対応する区画内の特徴点対の位置情報に従って判断すること；及びRAW画像の各対内の先行画像の対応する区画に対する後続画像の対応する区画の位置変更情報に従って、RAW画像の各対内の先行画像に対する後続画像の位置変更情報を判断することを含む。

任意選択的に、位置情報は、座標であり、位置変更情報は、変換行列であり、変形情報は、変形行列である。

任意選択的に、RAW画像の第ｍ番目の対内の先行画像に対応する変形情報に従って、RAW画像の第ｍ番目の対内の先行画像を変形する工程は、RAW画像の第ｍ番目の対内の先行画像に対応する変形行列に従って、RAW画像の第ｍ番目の対内の先行画像の区画を変形すること；及び変形後、RAW画像の第ｍ番目の対内の先行画像の縁を切断することを含む。

本出願は、映像ジッターを除去するための装置を提案する。本装置は、圧縮画像の各対内の特徴点対の位置情報に従って、RAW画像の各対内の特徴点対の位置情報を判断するように構成された位置情報取得第１ユニットであって、１つの特徴点対は、画像の各対内の２つの連続画像上の２つの対応する特徴点から構成され、RAW画像は、未圧縮画像である、位置情報取得第１ユニット；RAW画像の各対内の特徴点対の位置情報に従って、RAW画像の各対内の先行画像に対する後続画像の位置変更情報を判断するように構成された位置変更情報取得ユニット；RAW画像のｎ対内の先行画像に対する後続画像の位置変更情報に従って、RAW画像の第ｍ番目の対内の先行画像に対応する変形情報を取得するように構成された変形情報取得ユニットであって、ｎ及びｍは、正の整数であり、且つｍは、ｎ以下である、変形情報取得ユニット；及びジッターが除去されたRAW画像の第ｍ番目の対内の先行画像を取得するために、RAW画像の第ｍ番目の対内の先行画像に対応する変形情報に従って、RAW画像の第ｍ番目の対内の先行画像を変形するように構成された変形処理ユニットを含む。

任意選択的に、本装置は、RAW画像を第１の待ち行列に格納するように構成された画像格納ユニット；及びRAW画像の各対内の先行画像に対する後続画像の位置変更情報を第２の待ち行列内に格納するように構成された位置変更情報格納ユニットをさらに含む。

任意選択的に、本装置は、RAW画像の各対を第１の倍数により圧縮するように構成された圧縮ユニット；圧縮画像の各対内の各画像上の特徴点を判断するように構成された特徴点判断ユニット；圧縮画像の各対内の２つの連続画像上の２つの対応する特徴点を特徴点対として判断するように構成された特徴点対判断ユニット；及び圧縮画像の各対内の特徴点対の位置情報を判断するように構成された位置情報取得第２ユニットをさらに含む。

任意選択的に、位置変更情報取得ユニットは、RAW画像の各対内の連続画像を区画化するように構成された画像区画化サブユニット；RAW画像の各対内の先行画像の対応する区画に対する後続画像の対応する区画の位置変更情報を、RAW画像の各対の対応する区画内の特徴点対の位置情報に従って判断するように構成された位置変更情報取得第１サブユニット；及びRAW画像の各対内の先行画像の対応する区画に対する後続画像の対応する区画の位置変更情報に従って、RAW画像の各対内の先行画像に対する後続画像の位置変更情報を判断するように構成された位置変更情報取得第２サブユニットを含む。

任意選択的に、変形処理ユニットは、RAW画像の第ｍ番目の対内の先行画像に対応する変形行列に従って、RAW画像の第ｍ番目の対内の先行画像の区画を変形するように構成された変形サブユニット；及び変形後、RAW画像の第ｍ番目の対内の先行画像の縁を切断するように構成された切断サブユニットを含む。

本出願は、電子デバイスも提案する。本電子デバイスは、プロセッサと、映像ジッターを除去するためのプログラムを格納するためのメモリとを含み、プログラムがプロセッサによって読み出され且つ実行されると、以下の動作：圧縮画像の各対内の特徴点対の位置情報に従って、RAW画像の各対内の特徴点対の位置情報を判断する動作であって、１つの特徴点対は、画像の各対内の２つの連続画像上の２つの対応する特徴点から構成され、RAW画像は、未圧縮画像である、動作；RAW画像の各対内の特徴点対の位置情報に従って、RAW画像の各対内の先行画像に対する後続画像の位置変更情報を判断する動作；RAW画像のｎ対内の先行画像に対する後続画像の位置変更情報に従って、RAW画像の第ｍ番目の対内の先行画像に対応する変形情報を取得する動作であって、ｎ及びｍは、正の整数であり、且つｍは、ｎ以下である、動作；及びジッターが除去されたRAW画像の第ｍ番目の対内の先行画像を取得するために、RAW画像の第ｍ番目の対内の先行画像に対応する変形情報に従って、RAW画像の第ｍ番目の対内の先行画像を変形する動作が行われる。

本出願は、映像ジッターを除去するためのプログラムが格納されるコンピュータ可読記憶媒体も提案する。プログラムがプロセッサによって読み出され且つ実行されると、以下の動作：圧縮画像の各対内の特徴点対の位置情報に従って、RAW画像の各対内の特徴点対の位置情報を判断する動作であって、１つの特徴点対は、画像の各対内の２つの連続画像上の２つの対応する特徴点から構成され、RAW画像は、未圧縮画像である、動作；RAW画像の各対内の特徴点対の位置情報に従って、RAW画像の各対内の先行画像に対する後続画像の位置変更情報を判断する動作；RAW画像のｎ対内の先行画像に対する後続画像の位置変更情報に従って、RAW画像の第ｍ番目の対内の先行画像に対応する変形情報を取得する動作であって、ｎ及びｍは、正の整数であり、且つｍは、ｎ以下である、動作；及びジッターが除去されたRAW画像の第ｍ番目の対内の先行画像を取得するために、RAW画像の第ｍ番目の対内の先行画像に対応する変形情報に従って、RAW画像の第ｍ番目の対内の先行画像を変形する動作が行われる。

本出願において提案される映像ジッターを除去するための技術的解決策は、最初に、圧縮画像の各対内の特徴点対の位置情報に従って、RAW画像の各対内の特徴点対の位置情報を判断する。RAW画像は、圧縮後により小さくなり、電子デバイスは、様々な処理を比較的迅速に行うことになり、その結果、この技術的手段は、取得される画像毎に画像上の各特徴点対の位置情報をリアルタイムで取得し得る。画像の各対上の特徴点対の位置情報がリアルタイムで取得された後、RAW画像の各対内の先行画像に対する後続画像の位置変更情報は、RAW画像の各対内の特徴点対の位置情報に従って、それに応じてリアルタイムで判断される。RAW画像のｎ対内の先行画像に対する後続画像の位置変更情報が取得された後、RAW画像の第ｍ番目の対内の先行画像に対応する変形情報が取得され、ジッターが除去された先行画像を取得するために、RAW画像の第ｍ番目の対内の先行画像に対応する変形情報に従って、先行画像が変形される。同じように、先行画像の後の他の画像は、連続的に変形され、ジッター除去され、これによりリアルタイムジッター除去を実現する。同時に、この技術的解決策は、ジッターをリアルタイムで除去するが、他の補助デバイスに依存せず、したがってより大きい利便性を有し、それにより、従来技術における、リアルタイムジッター除去が実現され得ないか、又は外部ジャイロがリアルタイムジッター除去のために必要とされるという技術的問題が解決される。

図面の簡単な説明
本出願により提供される、映像ジッターを除去する方法の実施形態のフローチャートである。本出願により提供される、映像ジッターを除去する方法に関与する特徴点の概略図である。本出願により提供される、映像ジッターを除去する方法に関与する区画変換行列の概略図である。本出願により提供される、映像ジッターを除去する方法に関与する各画像及び対応する区画変換行列の対応関係の概略図である。本出願により提供される、映像ジッターを除去する方法に関与する変形行列を取得する際に適用される各行列の概略図である。本出願により提供される、映像ジッターを除去する方法に関与する画像変形処理の概略図である。本出願により提供される、映像ジッターを除去するための装置の実施形態の概略図である。

詳細な説明
以下の本明細書では、本出願を十分に理解するために多くの具体的な詳細が説明される。しかし、本出願は、本明細書における方法と異なる多くの他の方法で実施され得、当業者は、本出願の含意から逸脱することなく同様の演繹的推論をなし得る。したがって、本出願は、以下に開示される特定の実施形態により限定されない。

本出願は、映像ジッターを除去する方法を提供する。図１は、本出願により提供される、映像ジッターを除去する方法の実施形態のフローチャートである。以下は、図１に示す、映像ジッターを除去する方法の実施形態のフローと併せて、本出願により提供される、映像ジッターを除去する方法の技術的解決策を説明する。

一定期間の映像は、急速且つ連続的に変化する多くのフレームの画像によって形成される。映像を撮影する際、ビデオキャプチャーデバイスとシーンとの間の相対運動は、急速に変化する撮影された画像間の比較的大きい変位を引き起こすため、映像に「ジッター」が生じる。本出願は、映像のジッター問題をリアルタイムで除去することを目的とする。

図１に示す映像ジッターを除去する方法は、以下の工程を含む。

工程Ｓ１０１では、圧縮画像の各対内の特徴点対の位置情報に従って、RAW画像の各対内の特徴点対の位置情報が判断され、１つの特徴点対は、画像の各対内の２つの連続画像上の２つの対応する特徴点から構成される。

工程Ｓ１０１は、圧縮画像の各対内の特徴点対の位置情報を通して、未圧縮RAW画像の各対内の特徴点対の位置情報を判断する。したがって、工程Ｓ１０１前に工程Ｓ１００が含まれ得、圧縮画像の各対内の特徴点対の位置情報が取得される。

工程Ｓ１００は、具体的には、以下の工程を含み得る。

工程Ｓ１００－１では、RAW画像が第１の待ち行列内に格納される。

画像の複数のフレームがビデオ撮影デバイスを使用して一定期間内に撮影される場合、画像の複数のフレームが第１の待ち行列内に順に配置され、２つごとの隣接フレームの画像は、画像の対であり、最初のものが先行画像であり、最後のものが後続画像である。待ち行列は、具体的には、画像バッファ内に実現され得る。画像バッファは、合成又は表示される画像を格納するように専用化されたコンピュータシステム内のメモリを指す。図４は、画像バッファの概略図を示す。

工程Ｓ１００－２では、RAW画像の各対が第１の倍数により圧縮される。

一定期間の映像内の画像の複数のフレームのジッターを迅速に除去するプロセスにおいて、RAW画像は、第１の倍数により圧縮され得、この倍数は、プリセット値であり得る。未圧縮画像と比較して、圧縮画像は、第１の倍数により小さく、したがって、電子デバイスは、より速く処理し、それにより、新しい画像が捕捉及び圧縮されるたびに、新しい画像上の特徴点と各特徴点の位置情報とを判断する工程などの後続の工程が速やかに行われ得る。図２を参照すると、図２の右側の２つの画像は、圧縮された先行フレームの画像及び圧縮された現フレームの画像である。左側の圧縮前の先行フレーム及び現フレームの画像の幅及び高さは、右側の圧縮後の現フレームの画像及び先行フレームの画像の幅及び高さよりも第１の倍数により小さくなる。

工程Ｓ１００－３では、圧縮画像の各対内の連続画像のそれぞれの上の特徴点が判断される。

特徴点は、撮影されたシーンの輪郭、外観及び他の特徴を特徴付け得る画像上の一連の画素を指す。通常、この一連の点は、比較的明らかな特徴を有し、例えばグレイ値が比較的大きく、すなわち、その点における画像は、比較的暗く、その点は、特徴点として判断され得る。例えば、図２の圧縮された現フレーム上の点Ｐが、撮影されるシーンの特徴を特徴付け得る場合、点Ｐは、圧縮された現フレームの画像上の特徴点として使用され得る。

工程Ｓ１００－４では、圧縮画像の各対内の連続画像の各画像上の２つの対応する特徴点が特徴点対として判断される。

連続画像の各画像は、それ自体の一連のいくつかの特徴点を有し、先行画像上のある特徴点は、後続画像上の対応する特徴点を有し得る。例えば、２つの対応する特徴点の両方が画像上の撮影されたシーンのある点を特徴付ける場合、２つの対応する特徴点は、特徴点対を構成する。図２に示すように、圧縮された現フレーム上の特徴点Ｐと、圧縮された先行フレームの画像上の特徴点Ｐとの両方は、撮影されたシーンの同じ特徴点を特徴付け、これらの２つの対応する特徴点が特徴点対を構成する。

工程Ｓ１００－５では、圧縮画像の各対内の特徴点対の位置情報が判断される。

特徴点対の位置情報は、対応する画像内の２つの対応する特徴点対の相対位置を指し、位置情報は、対応する画像上の特徴点の座標であり得る。例えば、図２の圧縮された現フレーム上の特徴点Ｐの位置座標は、（ｕ，ｖ）である。加えて、圧縮された先行フレームの画像上の対応する特徴点Ｐも座標値を有する。それぞれの画像上の２つの特徴点の位置情報は、画像の対上の１つの特徴点対の位置情報である。互いに隣接する２つの圧縮画像上に複数の特徴点対が存在するため、互いに隣接する画像上の複数の特徴点対の位置情報が取得され得る。

工程Ｓ１００が行われた後、すなわち圧縮画像の各対内の特徴点対の位置情報を取得する工程後、工程Ｓ１０１が以下のように行われ得る：RAW画像の各対内の特徴点対の位置情報が圧縮画像の各対内の特徴点対の位置情報に従って判断される。

圧縮された現フレームの画像及び先行フレームの画像は、未圧縮RAW画像に対して第１の倍数により圧縮されるため、圧縮画像の各対内の特徴点対の位置情報が取得された後、すなわち圧縮画像の各対内の各画像上の特徴点の位置情報が取得された後、圧縮画像の各対内の各画像上の特徴点の位置情報が第１の倍数により拡大されると、未圧縮画像の各対内の各画像上の特徴点の位置情報（画像の各対内の特徴点により形成される特徴点対の位置情報）が取得され得る。例えば、図２では、現在の圧縮画像上の特徴点Ｐの座標（ｕ，ｖ）が第１の倍数により拡大され、未圧縮現フレームの画像上の特徴点Ｐの座標（ｓｕ，ｓｖ）が取得され得る。同様に、圧縮された先行フレームの画像上の特徴点Ｐの座標は、第１の倍数により拡大され、未圧縮先行フレームの画像上の特徴点Ｐの座標も取得され得る。圧縮された現フレーム及び圧縮された先行フレーム内の２つの対応する特徴点Ｐは、圧縮された現フレーム及び先行フレームの画像内の特徴点対Ｐを構成する。未圧縮現フレーム及び未圧縮先行フレーム内の２つの対応する特徴点Ｐは、未圧縮現フレーム及び先行フレーム内の特徴点対Ｐを構成する。

工程Ｓ１０２では、RAW画像の各対内の先行画像に対する後続画像の位置変更情報がRAW画像の各対内の特徴点対の位置情報に従って判断される。

本出願では、工程Ｓ１０２は、RAW画像の各対を複数の区画に分割し得る。現フレームの画像上のある区画から先行フレームの画像上の対応する区画への位置変更情報が判断された後、分割されたいくつかの対応する区画の位置変更情報は、画像の各対内の現フレームの画像から先行フレームの画像への位置変更情報と組み合わされる。

具体的には、工程Ｓ１０２は、以下の工程を含み得る。

工程Ｓ１０２－１では、RAW画像の各対内の連続画像のそれぞれが区画化され；図３の実施例に示すように、現フレームの画像と先行フレームの画像との両方は、６つの区画に分割される。それらの中でも、４つの特徴点Ｃ_０、Ｃ_１、Ｃ_２、Ｃ_３は、現フレームの画像の左上角における区画内に示され、４つの対応する特徴点Ｐ_０、Ｐ_１、Ｐ_２、Ｐ_３も先行フレームの画像上に示される。

工程Ｓ１０２－２では、RAW画像の各対内の後続画像の対応する区画から先行画像の対応する区画への位置変更情報が、RAW画像の各対の対応する区画内の各特徴点対の位置情報に従って判断される。

２つの連続画像の相対運動のため、後続画像上の特徴点の位置情報は、先行画像上の対応する特徴点の位置情報と異なり、後続画像上の特徴点の位置と、先行画像上の対応する特徴点の位置との位置情報差は、後続画像上の特徴点から先行画像上の対応する特徴点への位置変更情報である。後続画像上の対応する区画の各特徴点の位置情報と、先行画像上の対応する区画のそれぞれの対応する特徴点の位置情報との差は、後続RAW画像の対応する区画から先行RAW画像の対応する区画への位置変更情報である。例えば、図３の先行フレームの画像の例は、４つの特徴点Ｐ_０、Ｐ_１、Ｐ_２、Ｐ_３を有し、これらの４つの特徴点は、それぞれ現フレームの画像上の対応する４つの特徴点Ｃ_０、Ｃ_１、Ｃ_２、Ｃ_３に対応する。先に述べたように、先行フレームの画像上の４つの特徴点及び現フレームの画像上の４つの特徴点は、すべて撮影されたシーンの同じ特徴を特徴付けるため、２つの連続画像上の４つの点は、４つの特徴点対を構成するように互いに対応する。先行フレームの画像の左上角における区画例内に４つの特徴点が存在する場合、これらの４つの特徴点Ｐ_０、Ｐ_１、Ｐ_２、Ｐ_３の位置情報は、先行フレームの画像の左上角における区画に対応する行列を構成する。同様に、現フレームの画像上の４つの点Ｃ_０、Ｃ_１、Ｃ_２、Ｃ_３の位置情報は、現フレームの画像の左上角における区画の対応する行列を構成する。現フレームの左上角における区画に対応する行列から、先行フレームの画像の左上角における区画に対応する行列への変換時、変換行列が存在し、この変換行列は、現フレームの画像の左上角における区画から、先行フレームの画像の左上角における区画への位置変更情報又は位置変更行列である。図３では、現フレームの画像内の左上角における区画から、先行フレームの画像内の左上角における区画への位置変更情報又は位置変更行列Ｈ_００が示される。すなわち、現フレームの画像の左上角における各特徴点に対応する位置情報又は行列は、先行フレームの画像の左上角における各特徴点に対応する位置情報を計算するために位置変更行列Ｈ_００により乗算される。当然のことながら、先行フレームの画像の左上角における区画内の対応する特徴点Ｐ_１の位置情報を取得するために、現フレームの画像の左上角における区画内の特徴点Ｃ_１は、Ｈ_００内の対応する位置における値により乗算される。同様に、現フレームの画像の左下角における区画から、先行フレームの画像の左下角における区画への位置変更情報は、Ｈ_１０として表現され得る。したがって、他の４つの対応する区画間の位置変更情報は、Ｈ_０１、Ｈ_０２、Ｈ_１１、Ｈ_１２として表現され得る。

工程Ｓ１０２－３では、RAW画像の各対内の先行RAW画像の対応する区画に対する後続RAW画像の対応する区画の位置変更情報に従って、RAW画像の各対内の先行画像に対する後続画像の位置変更情報が判断される。

工程Ｓ１０２－２に基づき、現フレームの画像の各区画から先行フレームの画像のそれぞれの対応する区画への位置変更情報Ｈ_００、Ｈ_０１、Ｈ_０２、Ｈ_１１、Ｈ_１２が取得された。各区画に対応する位置変更情報は、先行フレームの画像に対する現フレームの画像の位置変更情報を特徴付けるために組み合わされ得、図３に示すように、現フレームから先行フレームへの区画変換行列は、現フレームの画像から先行フレームの画像への位置変更情報である。

工程Ｓ１０２－４では、RAW画像の各対内の先行画像に対する後続画像の位置変更情報が第２の待ち行列内に格納される。

現フレームの画像から先行フレームの画像への位置変更情報が工程Ｓ１０２－３に基づいて取得された後、画像の対間の位置変更情報は、第２の待ち行列と名付けられ得る待ち行列内に格納され得る。待ち行列は、具体的には、区画変換行列バッファに保存され得る。区画変換行列バッファは、変換行列を格納することに専用化されたコンピュータシステム内のメモリであり得る。図４は、区画変換行列バッファの概略図を示す。

工程Ｓ１０３では、RAW画像の第ｍ番目の対内の先行画像に対応する変形情報は、RAW画像のｎ対内の先行画像に対する後続画像の位置変更情報に従って取得され、ｎ及びｍは、正の整数であり、且つｍは、ｎ以下である。

以下の例は、どのように工程Ｓ１０３を実施するか、すなわちｍ＝１を一例として、どのようにRAW画像の第１番目の対内の先行画像に対応する変形情報を取得するかを示す。RAW画像の第１番目の対内の先行画像に対応する変形情報を取得するために、処理のための変形行列反復オプティマイザ内の、オリジナル経路バッファ、最適化経路一時レジスタ、及び最適化経路バッファ内に格納された位置情報を使用することが必要であり、この工程における各バッファの役割が以下に導入される。

図５に示すように、図５の区画変換行列バッファ内に格納されるものは、先行画像に対する後続画像の位置変更情報である。区画変換行列バッファは、所定数の画像間の位置変更情報を格納し得る。所定数の画像間の位置変更情報は、生成の順に格納され、後に生成される画像間の位置変更情報は、区画変換行列バッファの終わりに配置される。図５に示す区画変換行列バッファは、画像のｎ対間の対応する位置変更情報を格納し得、すなわちｎ個の位置変更情報又は位置変更行列を格納する。図５の右端の組の区画変換行列は、画像収集器により最初に収集された第１の画像と第２の画像との間の位置変更行列などを表す。図５の左端の組の区画変換行列は、最後の画像と先行画像との間の位置変更行列を表す。

図５に示す区画変換行列バッファは、固定長を有し、すなわち最大でｎ個の位置変更情報を格納し得る。これに応じて、図４の画像バッファも固定長を有し、画像バッファの長さは、区画変換行列バッファの長さと同じであり、すなわち、画像バッファは、最大でｎ個の画像を格納し得る。区画変換行列バッファがｎ個の位置変更情報又は位置変更行列で一杯であり、且つ画像バッファがｎ個の画像で一杯であると、RAW画像の第１の対内の先行画像に対応する変形情報を取得する次の工程がトリガされる。例えば、図４に示す画像バッファ内の第１の待ち行列は、ｎ個の画像を格納し得、最初に取得された第１の画像及び最初に取得された第２の画像は、画像の第１番目の対であり、画像バッファ内の画像の第１番目の対のシーケンス番号は、ｎ－１及びｎ－２である。RAW画像の第１番目の対内の先行画像に対応する変形情報が取得され、すなわち画像バッファ内のｎ－１のシーケンス番号を有するフレームの画像に対応する変形情報が取得される。RAW画像の第１番目の対内の先行画像に対応する変形情報を取得する工程後、以下の工程がさらに行われ得る：画像が第１の待ち行列内に再び格納される前に、第１の待ち行列の先頭における画像が取り出され；及び位置変更情報が第２の待ち行列内に再び格納される前に、第２の待ち行列の先頭における位置変更情報が取り出される。待ち行列の先頭における画像が画像バッファから取り出され、及び待ち行列の先頭における位置変更情報が区画変換行列バッファから取り出された後、これらの位置は、新しい画像の格納及び新しい位置変更情報の格納のために解放され得る。

図５では、Ｈ_{ｎ－１，０}は、位置変更情報を格納する第２の待ち行列の先頭における位置変更情報内の第１の区画位置変更情報を表し、Ｈ_{ｎ－１，１}は、第２の区画位置変更情報を表す等であり、Ｈ_{ｎ－１，５}は、第６番目の区画位置変更情報を表す。同様に、Ｈ_０，_０は、位置変更情報を格納する第２の待ち行列の最後における位置変更情報内の第１番目の区画位置変更情報を表し、Ｈ_０，１は、第２番目の区画位置変更情報を表す等であり、Ｈ_０，５は、第６番目の区画位置変更情報を表す。

図５では、オリジナル経路バッファは、第２の待ち行列内の新たに格納された位置変更情報内のある区画位置変更情報と、以前に格納された位置変更情報内の対応する区画位置変更情報との積（すなわちＣ_ｉ，ｊ＝Ｈ_０，ｊ＊Ｈ_１，ｊ＊．．．．．Ｈ_{ｉ－１，ｊ}＊Ｈ_ｉ，ｊ）を格納し、ここで、Ｃ_ｉ，ｊは、第２の待ち行列内の（ｉ＋１）のシーケンス番号を有する位置変更情報内の第ｊ区画位置変更情報と、第２の待ち行列内のｉのシーケンス番号を有する位置変更情報内の第ｊ区画位置変更情報と、．．．、０のシーケンス番号を有する位置変更情報内の第ｊ区画位置変更情報との積を表す。例えば、ｉ＝ｎ－１の場合、Ｃ_{ｎ－１，ｊ}は、Ｈ_{ｎ－１，ｊ}及びＨ_{ｎ－２，ｊ}．．．，Ｈ_０，ｊまでの積に等しい。

図５では、最適化経路一時レジスタは、加重平均Ｑ_ｉ，ｊを格納し、加重平均Ｑ_ｉ，ｊは、以下の３つの加重平均を取ることにより取得される：画像待ち行列内のｉのシーケンス番号を有する画像上の第ｊ区画に隣接する区画の位置情報、ｉのシーケンス番号を有する画像に隣接するフレームの画像上の第ｊ区画の位置情報、及びオリジナル経路バッファ内のＣ_ｉ，ｊ。加重平均は、Ｑ_ｉ，ｊにより表現される。加重平均が取得されるときには常に、Ｑ_ｉ，ｊは、最適化された経路バッファ内に一時的に格納され、次に最適化された経路バッファ内にオーバーレイされ、Ｐ_ｉ，ｊとして記録される。明らかに、ｉ＝ｎ－１の場合、Ｐ_{ｎ－１，ｊ}は、値が以下の３つの加重平均により取得されることを意味する：第１の待ち行列の先頭における画像上の第ｊ区画に隣接する区画の位置情報、待ち行列の先頭におけるフレームの画像の先行フレームの画像上の第ｊ区画の位置情報、及びオリジナル経路バッファ内のＣ_{ｎ－１，ｊ}。

積の結果Ｐ_{ｎ－１，ｊ} ^－１＊Ｃ_{ｎ－１，ｊ}は、Ｂ_ｊとして記録され、Ｂ_ｊは、待ち行列の先頭における画像の各区画に対応する変形情報を表す。例えば、ｊ＝１の場合、Ｂ_０は、待ち行列の先頭における画像の第１の区画に対応する変形情報を表し、同様に、Ｂ_１は、待ち行列の先頭における画像の第２の区画に対応する変形情報を表す等である。待ち行列の先頭における画像が６つの区画に分割される場合、Ｂ_５は、待ち行列の先頭における画像の第６の区画に対応する変形情報を表す。Ｂ_０、Ｂ_１、Ｂ_２、Ｂ_３、Ｂ_４、Ｂ_５。この情報は、図６に示すように、変形行列最適化イテレータにより取得される待ち行列の先頭における画像に対応する変形情報を参照することにより組み合わされて、画像バッファ内の待ち行列の先頭における画像に対応する変形情報を形成する。

画像の第１番目の対内の先行画像の変形情報が工程Ｓ１０３を通して取得された後、変形情報は、先行画像に対して変形処理を行うために使用され得る。工程Ｓ１０４を参照されたい。

工程Ｓ１０４では、RAW画像の第ｍ番目の対内の先行画像は、ジッターが除去されたRAW画像の第ｍ番目の対内の先行画像を取得するために、RAW画像の第ｍ番目の対内の先行画像に対応する変形情報に従って変形される。

画像の第１番目の対内の先行画像が一例として引き続き挙げられる。画像の第１番目の対内の先行画像に対応する変形情報が、工程Ｓ１０３に示される工程に基づいて取得された後、変形情報が変形行列により表される場合、先行画像の区画は、RAW画像の第１番目の対内の先行画像に対応する変形行列に従って変形され、すなわち、画像の位置情報は、工程Ｓ１０３において取得された変形情報を使用することにより調整される。例えば、図６の待ち行列の先頭における画像の第３の区画の変形行列は、特徴点Ｐの位置情報を含み、変形行列内に存在する特徴点Ｐの位置情報と、待ち行列の先頭における画像の第３の区画上の特徴点Ｐの位置情報との間に若干の差がある。この位置差を除去するために、待ち行列の先頭における画像上の点Ｐは、第３の区画の変形情報内の特徴点Ｐの位置と一致するように調整され、位置差は、除去され得る。同様に、待ち行列の先頭における画像上の他の区画の特徴点の位置も、図６に示す調整された画像が取得され得るように、変形情報内の対応する特徴点の位置に調整されるべきである。待ち行列の先頭における画像の位置情報が調整された後、変形情報の外側の画像が切り取られ、及び位置差を除去する効果が実現され得る。

本出願において提案される映像ジッターを除去するための技術的解決策は、最初に、圧縮画像の各対内の特徴点対の位置情報に従って、RAW画像の各対内の特徴点対の位置情報を判断する。RAW画像は圧縮後に、より小さくなり、電子デバイスは、様々な処理を比較的迅速に行うため、この技術的手段は、取得される画像毎に画像上の各特徴点対の位置情報をリアルタイムで取得し得る。各画像上の特徴点対の位置情報がリアルタイムで取得された後、RAW画像の各対内の先行画像に対する後続画像の位置変更情報は、RAW画像の各対内の特徴点対の位置情報に従って、同じくリアルタイムで判断される。RAW画像のｎ対内の先行画像に対する後続画像の位置変更情報が取得された後、RAW画像の第１番目の対内の先行画像に対応する変形情報が取得され、先行画像は、ジッターが除去された先行画像を取得するために、RAW画像の第１番目の対内の先行画像に対応する変形情報に従って変形される。同様に、先行画像後の他の画像は、連続的に変形され、ジッター除去され、これによりリアルタイムジッター除去を実現する。同時に、この技術的解決策は、ジッターをリアルタイムで除去するが、他の補助デバイスに依存せず、したがってより大きい利便性を有し、それにより、従来技術における、リアルタイムジッター除去が実現され得ないか、又は外部ジャイロがリアルタイムジッター除去のために必要とされるという技術的問題が解決される。

本出願は、映像ジッターを除去するための装置をさらに提供する。図７は、本出願により提供される、映像ジッターを除去するための装置の実施形態の概略構造図である。本装置実施形態は、図１に示す方法実施形態に対応するため、説明は、比較的簡単である。関連部分に関しては、上に提供された方法実施形態の対応する説明を参照されたい。本装置は、特に様々な電子デバイスに適用され得る。以下に説明される装置実施形態は、単に例示的である。

図７に示す映像ジッターを除去するための装置は、圧縮画像の各対内の特徴点対の位置情報に従って、RAW画像の各対内の特徴点対の位置情報を判断するように構成された位置情報取得第１ユニット７０１であって、１つの特徴点対は、画像の各対内の２つの連続画像上の２つの対応する特徴点から構成され、RAW画像は、未圧縮画像である、位置情報取得第１ユニット７０１；RAW画像の各対内の特徴点対の位置情報に従って、RAW画像の各対内の先行画像に対する後続画像の位置変更情報を判断するように構成された位置変更情報取得ユニット７０２；RAW画像のｎ対内の先行画像に対する後続画像の位置変更情報に従って、RAW画像の第ｍ番目の対内の先行画像に対応する変形情報を取得するように構成された変形情報取得ユニット７０３であって、ｎ及びｍは、正の整数であり、且つｍは、ｎ以下である、変形情報取得ユニット７０３；及びジッターが除去されたRAW画像の第ｍ番目の対内の先行画像を取得するために、RAW画像の第ｍ番目の対内の先行画像に対応する変形情報に従って、RAW画像の第ｍ番目の対内の先行画像を変形するように構成された変形処理ユニット７０４を含む。

任意選択的に、本装置は、第１の待ち行列にRAW画像を格納するように構成された画像格納ユニット；及びRAW画像の各対内の先行画像に対する後続画像の位置変更情報を第２の待ち行列内に格納するように構成された位置変更情報格納ユニットをさらに含む。

任意選択的に、位置変更情報取得ユニット７０２は、RAW画像の各対内の連続画像を区画化するように構成された画像区画化サブユニット；RAW画像の各対内の先行画像の対応する区画に対する後続画像の対応する区画の位置変更情報を、RAW画像の各対の対応する区画内の特徴点対の位置情報に従って判断するように構成された位置変更情報取得第１サブユニット；及びRAW画像の各対内の先行画像の対応する区画に対する後続画像の対応する区画の位置変更情報に従って、RAW画像の各対内の先行画像に対する後続画像の位置変更情報を判断するように構成された位置変更情報取得第２サブユニットを含む。

任意選択的に、変形処理ユニット７０４は、RAW画像の第ｍ番目の対内の先行画像に対応する変形行列に従って、RAW画像の第ｍ番目の対内の先行画像の区画を変形するように構成された変形サブユニット；及び変形後、RAW画像の第ｍ番目の対内の先行画像の縁を切断するように構成された切断サブユニットを含む。

本出願は、映像ジッターを除去するための電子デバイスの実施形態をさらに提供する。実施形態における電子デバイスは、プロセッサと、映像ジッターを除去するためのプログラムを格納するためのメモリとを含み、プログラムがプロセッサによって読み出され且つ実行されると、以下の動作：圧縮画像の各対内の特徴点対の位置情報に従って、RAW画像の各対内の特徴点対の位置情報を判断する動作であって、１つの特徴点対は、画像の各対内の２つの連続画像上の２つの対応する特徴点から構成され、RAW画像は、未圧縮画像である、動作；RAW画像の各対内の特徴点対の位置情報に従って、RAW画像の各対内の先行画像に対する後続画像の位置変更情報を判断する動作；RAW画像のｎ対内の先行画像に対する後続画像の位置変更情報に従って、RAW画像の第ｍ番目の対内の先行画像に対応する変形情報を取得する動作であって、ｎ及びｍは、正の整数であり、且つｍは、ｎ以下である、動作；及びジッターが除去されたRAW画像の第ｍ番目の対内の先行画像を取得するために、RAW画像の第ｍ番目の対内の先行画像に対応する変形情報に従って、RAW画像の第ｍの対内の先行画像を変形する動作が行われる。関連する技術的特徴に関しては、ここで繰り返されない方法実施形態を参照されたい。

本出願は、コンピュータ可読記憶媒体をさらに提案する。コンピュータ可読記憶媒体実施形態は、基本的に方法実施形態と同様であるため、説明は、比較的簡単である。関連部分に関しては、上に提供された方法実施形態の対応する説明を参照されたい。以下に説明されるコンピュータ可読記憶媒体実施形態は、単に例示的である。

本出願は、コンピュータ可読媒体をさらに提供する。コンピュータ可読媒体は、上述の実施形態において説明された装置に含まれ得るか、又は装置内に組み入れられることなく単独で存在し得る。上記のコンピュータ可読媒体は、１つ又は複数のプログラムを保持する。装置によって実行されると、上記の１つ又は複数のプログラムは、装置に、圧縮画像の各対内の特徴点対の位置情報に従って、RAW画像の各対内の特徴点対の位置情報を判断することであって、１つの特徴点対は、画像の各対内の２つの連続画像上の２つの対応する特徴点から構成され、RAW画像は、未圧縮画像である、判断すること；RAW画像の各対内の特徴点対の位置情報に従って、RAW画像の各対内の先行画像に対する後続画像の位置変更情報を判断すること；RAW画像のｎ対内の先行画像に対する後続画像の位置変更情報に従って、RAW画像の第ｍ番目の対内の先行画像に対応する変形情報を取得することであって、ｎ及びｍは、正の整数であり、且つｍは、ｎ以下である、取得すること；及びジッターが除去されたRAW画像の第ｍ番目の対内の先行画像を取得するために、RAW画像の第ｍ番目の対内の先行画像に対応する変形情報に従って、RAW画像の第ｍ番目の対内の先行画像を変形することを行わせる。関連する技術的特徴に関しては、ここで繰り返されない方法実施形態を参照されたい。

本出願は、好ましい実施形態により上に開示されたが、本出願を限定するように意図されていない。当業者は、本出願の趣旨及び範囲から逸脱することなく、可能な変更形態及び修正形態をなし得る。

典型的な構成では、コンピュータデバイスは、１つ又は複数の中央処理ユニット（ＣＰＵ）、入力／出力インターフェース、ネットワークインターフェース及びメモリを含む。

メモリは、コンピュータ可読媒体内の揮発性メモリ、ランダムアクセスメモリ（ＲＡＭ）及び／又は不揮発性メモリ（例えば、読み出し専用メモリ（ＲＯＭ）又はフラッシュＲＡＭなど）を含み得る。メモリは、コンピュータ可読媒体の一例である。

１．恒久的及び非恒久的媒体、着脱可能及び着脱不能媒体を含むコンピュータ可読媒体は、任意の方法又は技術により情報格納を実現し得る。情報は、コンピュータ可読命令、データ構造、プログラムモジュール又は他のデータであり得る。コンピュータ記憶媒体の例は、限定しないが、相転移メモリ（ＰＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、他のタイプのランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、電気的消去可能読み出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ若しくは他のメモリ技術、読み出し専用コンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、デジタルバーサタイルディスク（ＤＶＤ）若しくは他の光学的記憶装置、磁気テープカセット、磁気テープ磁気ディスク記憶デバイス若しくは他の磁気記憶デバイス又は任意の他の非一時的媒体を含み、コンピュータ記憶媒体は、コンピュータ装置によりアクセスされ得る情報を格納するために使用され得る。本明細書で定義されるように、コンピュータ可読媒体は、変調データ信号及び搬送波などの非一時的コンピュータ可読媒体（過渡的媒体）を含まない。

２．当業者は、本出願の実施形態が方法、システム又はコンピュータプログラム製品として提供され得ることを理解すべきである。したがって、本出願は、完全なハードウェア実施形態、完全なソフトウェア実施形態、又はソフトウェアとハードウェアとを組み合わせる実施形態の形式であり得る。さらに、本出願は、コンピュータ使用可能プログラムコードを含む１つ又は複数のコンピュータ使用可能記憶媒体（限定しないが、磁気ディスクメモリ、ＣＤ－ＲＯＭ、光メモリなどを含む）上に実装されるコンピュータプログラム製品の形式であり得る。

Claims

映像ジッターを除去する方法であって、
圧縮画像の各対内の特徴点対の位置情報に従って、RAW画像の各対内の特徴点対の位置情報を判断することであって、１つの特徴点対は、画像の各対内の２つの連続画像上の２つの対応する特徴点から構成され、前記RAW画像は、未圧縮画像である、判断すること；
RAW画像の各対内の前記特徴点対の前記位置情報に従って、RAW画像の各対内の先行画像に対する後続画像の位置変更情報を判断すること；
RAW画像のｎ対内の前記先行画像に対する前記後続画像の前記位置変更情報に従って、RAW画像の第ｍ番目の対内の前記先行画像に対応する変形情報を取得することであって、ｎ及びｍは、正の整数であり、且つｍは、ｎ以下である、取得すること；及び
ジッターが除去された前記RAW画像の第ｍ番目の対内の前記先行画像を取得するために
、前記RAW画像の第ｍ番目の対内の前記先行画像に対応する前記変形情報に従って、前記RAW画像の第ｍ番目の対内の前記先行画像を変形すること
を含む方法。
前記RAW画像を第１の待ち行列内に格納すること；及び
RAW画像の各対内の前記先行画像に対する前記後続画像の前記位置変更情報を第２の待ち行列内に格納すること
をさらに含む、請求項１に記載の方法。
前記RAW画像のｎ対内の前記先行画像に対する前記後続画像の前記位置変更情報に従って、前記RAW画像の第ｍ番目の対内の前記先行画像に対応する前記変形情報を取得することは、
前記第１の待ち行列内に格納された前記画像が第１の数に達し、且つ前記第２の待ち行列内に格納された前記位置変更情報が前記第１の数に達するとき、前記RAW画像のｎ対内の前記先行画像に対する前記後続画像の前記位置変更情報に従って、前記RAW画像の第ｍ番目の対内の前記先行画像に対応する前記変形情報を取得すること
を含む、請求項２に記載の方法。
RAW画像の第１の対内の前記先行画像に対応する前記変形情報を取得することの後、前記方法は：
画像を前記第１の待ち行列に再び格納する前に前記第１の待ち行列の先頭における前記画像を取り出すこと；及び
位置変更情報を前記第２の待ち行列に再び格納する前に前記第２の待ち行列の先頭における前記位置変更情報を取り出すこと
をさらに含む、請求項３に記載の方法。
RAW画像の各対を第１の倍数により圧縮すること；
圧縮画像の各対内の各画像上の特徴点を判断すること；
圧縮画像の各対内の前記２つの連続画像上の２つの対応する特徴点を特徴点対として判断すること；及び
圧縮画像の各対内の前記特徴点対の位置情報を判断すること
をさらに含む、請求項１に記載の方法。
圧縮画像の各対内の前記特徴点対の前記位置情報に従って、RAW画像の各対内の前記特徴点対の前記位置情報を判断することは、
RAW画像の各対内の前記特徴点対の前記位置情報を取得するために、圧縮画像の各対内の前記特徴点対の前記位置情報を前記第１の倍数により拡大すること
を含む、請求項５に記載の方法。
圧縮画像の各対内の前記特徴点対の前記位置情報に従って、RAW画像の各対内の前記特徴点対の前記位置情報を判断することは、
RAW画像の各対内の前記２つの連続画像を区画化すること；
RAW画像の各対内の前記先行画像の対応する区画に対する前記後続画像の対応する区画の位置変更情報を、RAW画像の各対の前記対応する区画内の前記特徴点対の前記位置情報に従って判断すること；及び
RAW画像の各対内の前記先行画像の前記対応する区画に対する前記後続画像の前記対応する区画の前記位置変更情報に従って、RAW画像の各対内の前記先行画像に対する前記後続画像の前記位置変更情報を判断すること
を含む、請求項３に記載の方法。
前記位置情報は、座標であり、前記位置変更情報は、変換行列であり、及び前記変形情報は、変形行列である、請求項７に記載の方法。
RAW画像の前記第ｍ番目の対内の前記先行画像に対応する前記変形情報に従って、前記RAW画像の第ｍ番目の対内の前記先行画像を変形することは、
前記RAW画像の第ｍ番目の対内の前記先行画像に対応する前記変形行列に従って、前記RAW画像の第ｍ番目の対内の前記先行画像の前記区画を変形すること；及び
変形後、前記RAW画像の第ｍ番目の対内の前記先行画像の縁を切断すること
を含む、請求項８に記載の方法。
映像ジッターを除去するための装置であって、
圧縮画像の各対内の特徴点対の位置情報に従って、RAW画像の各対内の特徴点対の位置情報を判断するように構成された位置情報取得第１ユニットであって、１つの特徴点対は、画像の各対内の２つの連続画像上の２つの対応する特徴点から構成され、前記RAW画像は、未圧縮画像である、位置情報取得第１ユニット；
RAW画像の各対内の前記特徴点対の前記位置情報に従って、RAW画像の各対内の先行画像に対する後続画像の位置変更情報を判断するように構成された位置変更情報取得ユニット；
RAW画像のｎ対内の前記先行画像に対する前記後続画像の前記位置変更情報に従って、RAW画像の第ｍ番目の対内の前記先行画像に対応する変形情報を取得するように構成された変形情報取得ユニットであって、ｎ及びｍは、正の整数であり、且つｍは、ｎ以下である、変形情報取得ユニット；及び
ジッターが除去された前記RAW画像の第ｍ番目の対内の前記先行画像を取得するために、前記RAW画像の第ｍ番目の対内の前記先行画像に対応する前記変形情報に従って、前記RAW画像の第ｍ番目の対内の前記先行画像を変形するように構成された変形処理ユニットを含む装置。
前記RAW画像を第１の待ち行列内に格納するように構成された画像格納ユニット；及び RAW画像の各対内の前記先行画像に対する前記後続画像の前記位置変更情報を第２の待ち行列内に格納するように構成された位置変更情報格納ユニット
をさらに含む、請求項１０に記載の装置。
RAW画像の各対を第１の倍数により圧縮するように構成された圧縮ユニット；
圧縮画像の各対内の各画像上の特徴点を判断するように構成された特徴点判断ユニット；
圧縮画像の各対内の前記２つの連続画像上の２つの対応する特徴点を特徴点対として判断するように構成された特徴点対判断ユニット；及び
圧縮画像の各対内の前記特徴点対の位置情報を判断するように構成された位置情報取得第２ユニット
をさらに含む、請求項１０に記載の装置。
前記位置変更情報取得ユニットは、
RAW画像の各対内の連続画像を区画化するように構成された画像区画化サブユニット；
RAW画像の各対内の前記先行画像の対応する区画に対する前記後続画像の対応する区画の位置変更情報を、RAW画像の各対の前記対応する区画内の前記特徴点対の前記位置情報に従って判断するように構成された位置変更情報取得第１サブユニット；及び
RAW画像の各対内の前記先行画像の前記対応する区画に対する前記後続画像の前記対応する区画の前記位置変更情報に従って、RAW画像の各対内の前記先行画像に対する前記後続画像の前記位置変更情報を判断するように構成された位置変更情報取得第２サブユニット
を含む、請求項１０に記載の装置。
前記変形処理ユニットは、
前記RAW画像の第ｍ番目の対内の前記先行画像に対応する変形行列に従って、前記RAW画像の第ｍ番目の対内の前記先行画像の前記区画を変形するように構成された変形サブユニット；及び
変形後、前記RAW画像の第ｍ番目の対内の前記先行画像の縁を切断するように構成された切断サブユニット
を含む、請求項１３に記載の装置。
プロセッサと、
映像ジッターを除去するためのプログラムを格納するためのメモリと
を含む電子デバイスであって、前記プログラムが前記プロセッサによって読み出され且つ実行されると、以下の動作：
圧縮画像の各対内の特徴点対の位置情報に従って、RAW画像の各対内の特徴点対の位置情報を判断する動作であって、１つの特徴点対は、画像の各対内の２つの連続画像上の２つの対応する特徴点から構成され、前記RAW画像は、未圧縮画像である、動作；
RAW画像の各対内の前記特徴点対の前記位置情報に従って、RAW画像の各対内の先行画像に対する後続画像の位置変更情報を判断する動作；
RAW画像のｎ対内の前記先行画像に対する前記後続画像の前記位置変更情報に従って、RAW画像の第ｍ番目の対内の前記先行画像に対応する変形情報を取得する動作であって、ｎ及びｍは、正の整数であり、且つｍは、ｎ以下である、動作；及び
ジッターが除去された前記RAW画像の第ｍ番目の対内の前記先行画像を取得するために、前記RAW画像の第ｍ番目の対内の前記先行画像に対応する前記変形情報に従って、前記RAW画像の第ｍ番目の対内の前記先行画像を変形する動作
が行われる、電子デバイス。
映像ジッターを除去するためのプログラムが格納されるコンピュータ可読記憶媒体であって、前記プログラムがプロセッサによって読み出され且つ実行されると、以下の動作：
圧縮画像の各対内の特徴点対の位置情報に従って、RAW画像の各対内の特徴点対の位置情報を判断する動作であって、１つの特徴点対は、画像の各対内の２つの連続画像上の２つの対応する特徴点から構成され、前記RAW画像は、未圧縮画像である、動作；
RAW画像の各対内の前記特徴点対の前記位置情報に従って、RAW画像の各対内の先行画像に対する後続画像の位置変更情報を判断する動作；
RAW画像のｎ対内の前記先行画像に対する前記後続画像の前記位置変更情報に従って、RAW画像の第ｍ番目の対内の前記先行画像に対応する変形情報を取得する動作であって、ｎ及びｍは、正の整数であり、ｍは、ｎ以下である、動作；及び
ジッターが除去された前記RAW画像の第ｍ番目の対内の前記先行画像を取得するために、前記RAW画像の第ｍ番目の対内の前記先行画像に対応する前記変形情報に従って、前記RAW画像の第ｍ番目の対内の前記先行画像を変形する動作
が行われる、コンピュータ可読記憶媒体。