JP6505501B2 - ローリングシャッタ回転歪み補正と映像安定化処理方法 - Google Patents
ローリングシャッタ回転歪み補正と映像安定化処理方法 Download PDFInfo
- Publication number
- JP6505501B2 JP6505501B2 JP2015104074A JP2015104074A JP6505501B2 JP 6505501 B2 JP6505501 B2 JP 6505501B2 JP 2015104074 A JP2015104074 A JP 2015104074A JP 2015104074 A JP2015104074 A JP 2015104074A JP 6505501 B2 JP6505501 B2 JP 6505501B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- distortion
- camera
- motion
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
本発明は、ＣＭＯＳセンサを用いたカメラにより撮影された映像における回転動き歪み変形の補正（ローリングシャッタ回転歪み補正）と、揺れの補正を同時に行う映像安定化処理に関する。
映像の動きを推定する方法は古くから研究されており、当該方法は、特徴ベースによる方法と、領域ベースによる方法に大別される。特徴ベースによる方法は、コーナー点や直線等の画像特徴を検出し、それらを画像（フレーム）間で対応付けることにより画像の動きを推定する。そして、推定した動きを相殺するように画像を幾何学変換（例えば、並進、回転、拡大縮小等）することによって、映像に含まれる揺れの補正を行う。その他、加速度センサによってカメラ自体の動きを計測してカメラの動きを相殺するようにレンズを移動させることによって揺れの補正を行うものも知られている。しかし、エッジ等の特徴抽出処理及びそれらのフレーム間対応付け処理には、比較的多くの処理時間とコストが掛かる。
このように、特徴ベースによる方法は、特徴抽出処理やその後の対応付け処理にコストを要することから、領域ベースによる方法を用いた揺れ安定化装置の開発や製品化も鋭意なされている。しかし、いずれもＣＣＤセンサにより取得されたカメラ映像を対象としており、ＣＭＯＳセンサによる動き歪み変形には対応しておらず、当該ＣＭＯＳの揺れ映像の安定化はできない。
また、従来、カメラの意図的な動き（例えばパン）と、意図しない揺れ（ぶれ）による動きとを、取得された映像段階において判別することができないことから、移動カメラによる取得映像から、画像処理により不要な揺れ（ぶれ）のみを除去することは、十分にはできなかった。
下記特許文献１には、ＣＭＯＳセンサからの映像データ読み出し方法において、ある走査線の読み込み中に次の走査線の読み込みを開始する複数走査線の同時読み出し等の工夫をすることにより、歪みを軽減する撮像方式が開示されている。
また、下記特許文献２では、映像処理による歪み補正を行う方法が開示されているが、画像特徴点を用いる方法であり、映像の揺れによる平行移動成分と歪み成分の両者を別々に推定する技術思想が開示されている。
上述のように、特徴ベースによる方法は、特徴抽出処理やその後の対応付け処理にコストが掛かる。特に、抽出した複数の特微量を画像間で対応付ける処理は、ラスタスキヤンされた画素データからなる映像信号を処理するためのワイヤードロジック方式によるハードウェアでの実現には向かない。
一方、画素を直接用いる領域ベースによる方法は、ワイヤードロジック方式によるハードウェア実現も可能であり、領域ベースによる方法を用いた揺れ安定化装置の製品化もなされているが、いずれもＣＣＤセンサによるカメラ映像を対象としており、ＣＭＯＳセンサによる動き歪み変形には対応しておらず、揺れ映像の安定化はできない。
また、光学式による補正でも十分とは言えない。また、移動カメラの場合に映像から不要な揺れのみを除去することは、十分にはできなかった。これは、カメラの動きと揺れによる動きを判別することができないからである。
本発明は上述の問題点等に鑑み為されたものであり、ＣＭＯＳセンサを用いたカメラにより撮影された映像における動き歪み変形と揺れの補正を同時に処理可能とすること等を目的とする。また、移動カメラによる揺れ映像の場合、カメラの移動を保持したまま、映像中の揺れのみを補正することを目的とする。また、移動カメラから固定カメラヘ遷移する場合、あるいはその逆の場合にも忠実に対応することを目的とする。さらには、回転やスケール変換、複雑な変形運動に対応することを目的とする。
本発明は、ＣＭＯＳセンサを用いたカメラにより撮影された映像における動き歪み変形と揺れの補正を同時に行う。ローリングシャッターに起因する映像の動き歪み変形を隣接する画像間のグローバルな動きの変換としてモデル化し、回転を含む一般的な運動の場合に拡張する。隣接する２画像の差分二乗総和が最小になる動きパラメータを画像の勾配情報に基づき推定する。このとき、何らの画像特徴や対応付けを必要としない。動き歪み補正とともに、歪みのない基準フレームに対する映像の安定化を行うために、推定した隣接２画像間の動きパラメータの累積加算した結果で補正する。移動カメラの場合に、推定した並進パラメータの時系列変化に対してレベル適応巡回フィルタを適用することにより、カメラの移動を保持したまま、不要な揺れ成分のみを除去する。これにより、移動カメラから固定カメラヘ遷移する際にも、変化に忠実な安定化処理を実現する。
本発明の映像安定化処理方法は、ＣＭＯＳセンサから取得された映像に対して、ローリングシャッタに起因する回転動き歪み変形を含む隣接する２画像間の動きを、回転動き歪みのない仮想的な２画像間の動きとして、逆結合Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズムの更新量を１次近似することにより並進及び回転パラメータを推定することを特徴とする。
また、本発明の映像安定化処理方法は、好ましくは移動カメラの場合には、推定した並進パラメータの時系列処理を遂行することを特徴とする。
また、本発明の映像安定化処理方法は、さらに好ましくはＣＭＯＳセンサから取得された映像における回転動き歪み変形と、揺れの補正と、を同時に行うことことを特徴とする。
本発明により、ＣＭＯＳセンサを用いたカメラにより撮影された映像における動き歪み変形と揺れの補正を同時に処理可能となる。また、本発明により、移動カメラによる揺れ映像の場合、カメラの移動を保持したまま、映像中の揺れのみを補正することが可能となる。また、移動カメラから固定カメラヘ遷移する場合、あるいはその逆の場合にも忠実に対応することが可能となる。さらには、回転やスケール変換、複雑な変形運動に対応することが可能となる。
本実施形態においては、ローリングシシャッターに起因する映像の動き歪み変形を隣接する画像間のグローバルな動きの変換としてモデル化し、回転を含む一般的な運動の場合に拡張する。隣接する２画像の差分二乗総和が最小になる動きパラメータを画像の勾配情報に基づき推定する。このとき、何らの画像特徴や対応付けを必要としない。動き歪み補正とともに、歪みのない基準フレームに対する映像の安定化を行うために、推定した隣接２画像間の動きパラメータの累積加算した結果で補正する。移動カメラの場合に、推定した並進パラメータの時系列変化に対してレベル適応巡回フィルタを適用することにより、カメラの移動を保持したまま、不要な揺れ成分のみを除去する。移動カメラから固定カメラヘ遷移する際にも、変化に忠実な安定化処理を実現できる。
本実施形態では、ＣＭＯＳセンサを用いたカメラにより撮影された映像における動き歪み変形と揺れの補正が同時に可能となる。移動カメラの場合には、推定した並進パラメータの時系列変化に対して、巡回型フィルタにレベル適応を加味したフィルタにより揺れ成分を除去して、カメラの移動を保持したまま、映像中の揺れのみを補正する。レベル適応によるフィルタ処理のため、移動カメラから固定カメラヘの遷移、あるいはその逆の場合にも忠実に対応することが可能となる。
ローリングシャッターに起因する映像の動き歪み変形を隣接する画像間のグローバルな動きの変換としてモデル化し、回転を含む一般的な運動に拡張する方法、隣接する２画像の差分二乗総和が最小になる動きパラメータを画像の勾配情報に基づき推定する方法、さらに推定した並進パラメータの時系列変化に対して、レベル適応処理を加味した巡回型フィルタ処理を施すことを特徴とする。
この実現方法としては、ベースバンドビデオ信号を処理するハードウェア装置により実現することも可能であるし、ＭＸＦファイルを処理するソフトウェアおよびそれを実行するコンピュータをベースとした装置により実現することも可能であるし、ＭＸＦファイルをベースバンドビデオ信号に変換あるいは逆変換する装置を用いれば、いかなる構成による実現も可能である。
また、カメラ映像を動画像圧縮したものをＩＰ（インターネット・プロトコル）伝送して、クラウド上で処理を行うことも可能である。ＩＰ伝送された圧縮映像をベースバンドビデオ信号に復号して、歪み補正および安定化処理を行った結果を再び圧縮してストリーム配信する等、様々なシステム形態が考えられる。また、動き推定処理の精度の向上や掛かる処理コストを低減するために、階層画像を用いた階層動き推定処理を用いることができる。
図１は、本実施形態のＣＭＯＳカメラの剛体歪み変形を説明するためのブロック図である。隣接する剛体歪み画像
の間の動きを、仮想的な歪みのない隣接する画像
との間の歪み変形による変換と、歪みのない隣接する２画像間の動きによる変換に分離して考える。すなわち、剛体歪み変換
は、図中、
とたどればよい。ただし、最初の歪み変形変換の上付き添字”−１”は図中の矢印とは逆向きであることを意味する。すなわち、逆変換である。これらの変換を合成することによって、隣接２画像間の剛体歪み変換は次のように書ける。
Ｖは、画像縦サイズであり、
はそれぞれ水平、垂直成分、回転成分を表す。
このようにすると、回転を含む剛体歪み変換のみならず、より高自由度な相似、アフィン、射影変換による動き歪みについても同様にモデル化できる（
このようにすると、回転を含む剛体歪み変換のみならず、より高自由度な相似、アフィン、射影変換による動き歪みについても同様にモデル化できる（
とすると、並進歪みになる）。
隣接する２画像間の動きを推定して、歪みのない第１フレーム基準画像に対して位置合わせを行うことにより、動き歪み補正とともに映像の安定化を行う。まず、第ｎ＋１フレーム歪み画像
隣接する２画像間の動きを推定して、歪みのない第１フレーム基準画像に対して位置合わせを行うことにより、動き歪み補正とともに映像の安定化を行う。まず、第ｎ＋１フレーム歪み画像
を仮想的な歪みのない第ｎフレーム画像
に位置合わせする。推定したパラメータ
を用いて、図１中において、
とたどる。
上付き添字”−１”は、図１中の矢印とは逆向きであることを意味する。この場合も、これらの変換を合成すると、動き歪み補正と安定化は、すべてのパラメータの推定結果の累積加算により行えばよい。パラメータの推定方法等の詳細は後述する。
上付き添字”−１”は、図１中の矢印とは逆向きであることを意味する。この場合も、これらの変換を合成すると、動き歪み補正と安定化は、すべてのパラメータの推定結果の累積加算により行えばよい。パラメータの推定方法等の詳細は後述する。
問題は、移動カメラの場合であり、映像に含まれる動きが不要な揺れなのか、有意なカメラの動きなのかを判別しなければならない。なぜなら、第１フレームを基準画像として固定すると、移動カメラの場合には、カメラが移動するに従って、補正ができなくなる。
図２は、本実施形態のＣＭＯＳカメラ映像の動き歪み補正および映像安定化処理のフローを示すブロック図である。図２において、動き推定（Motion Estimaiton）により隣接する２画像
の間の動き歪みパラメータを推定する。動き歪みパラメータの内の並進成分
に対して、時系列フィルタ処理（LPF）を行う。時系列フィルタ処理結果
との差分
を累積加算した並進成分
によって、動き歪み補正と安定化処理（Motion Correction）を行う。
は１フレーム遅延を表す。その他の成分についても同様に累積加算したものを用いる。時系列フィルタ処理が完全であれば、固定カメラの場合の低域通過フィルタの出力は厳密に０となり、フィルタ処理結果との差分は並進パラメータそのものになる。しかし、実際にはそうとは限らないので、現在のフレームと前フレームにおけるフィルタ出力結果の差分絶対値のしきい値処理によって、固定／移動カメラの判別を行う。固定カメラと判定された場合には、並進パラメータの累積加算値によって補正する。画像シミュレーションにおける補正結果の詳細は後述する。
（対応点を用いないローリングシャッター歪み補正と映像の安定化〜並進から回転へ）
（Ａｂｓｔｒａｃｔ）
ローリングシャッターに起因する映像の動き歪み変形を隣接する画像間のグローバルな動きの変換としてモデル化する。そして、従来の並進動きの場合［５］から、回転を含む一般的な運動の場合に拡張する。動きパラメータを“逆結合Lucas-Kanadeアルゴリズム［１］”の更新量を１次近似した”近似逆結合Lucas-Kanadeアルゴリズム［７］”により推定する。動き歪み補正とともに、歪みのない基準フレームに対する映像の安定化を同時に行うために、推定した隣接２画像間の動きパラメータを累積加算した結果で補正する。移動カメラの場合に、推定した並進パラメータの時系列変化に対して、“巡回型バイラテラルフイルタ［５，６］”により揺れ成分を除去して、カメラの移動を保持したまま、映像中の揺れのみを補正する。移動カメラから固定カメラヘ遷移する際にも、変化に忠実な安定化処理を実現する。
（Ａｂｓｔｒａｃｔ）
ローリングシャッターに起因する映像の動き歪み変形を隣接する画像間のグローバルな動きの変換としてモデル化する。そして、従来の並進動きの場合［５］から、回転を含む一般的な運動の場合に拡張する。動きパラメータを“逆結合Lucas-Kanadeアルゴリズム［１］”の更新量を１次近似した”近似逆結合Lucas-Kanadeアルゴリズム［７］”により推定する。動き歪み補正とともに、歪みのない基準フレームに対する映像の安定化を同時に行うために、推定した隣接２画像間の動きパラメータを累積加算した結果で補正する。移動カメラの場合に、推定した並進パラメータの時系列変化に対して、“巡回型バイラテラルフイルタ［５，６］”により揺れ成分を除去して、カメラの移動を保持したまま、映像中の揺れのみを補正する。移動カメラから固定カメラヘ遷移する際にも、変化に忠実な安定化処理を実現する。
（１．はじめに）
近年、低価格な携帯電話カメラからハイエンドのディジタル一眼レフカメラ（Digital Single Lens Reflexcamera、DSLR）まで、ＣＭＯＳセンサが多く使われてきている。ＣＭＯＳセンサは、低価格化、低消費電力化、大判化が可能であるが、これが従来のＣＣＤセンサと大きく異なる点は、ローリングシャッターと呼ばれる順次露光機構であり、それに起因して映像に動き歪み変形が生じる点である。
近年、低価格な携帯電話カメラからハイエンドのディジタル一眼レフカメラ（Digital Single Lens Reflexcamera、DSLR）まで、ＣＭＯＳセンサが多く使われてきている。ＣＭＯＳセンサは、低価格化、低消費電力化、大判化が可能であるが、これが従来のＣＣＤセンサと大きく異なる点は、ローリングシャッターと呼ばれる順次露光機構であり、それに起因して映像に動き歪み変形が生じる点である。
これまでのスタビライザ処理の多くはＣＣＤセンサによるカメラを前提としているが、ＣＭＯＳセンサにおけるスタビライザ処理の研究もなされている。RingabyとForssen［８］は、携帯電話のカメラ映像を安定化するために、予めカメラの内部パラメータを校正した後、映像中の特徴点を抽出し、それを追跡した。カメラの運動を３次元回転モデルにより記述し、そのパラメータ推定には、再投影誤差の最小化を行うために非線形最適化を用いた。そして、推定したパラメータを平均化することによって安定化を行った。Grundmannら［２］は、画面をブロック分割して、ブロック毎に隣接する２画像間の２次元射影変換を計算して、それらの空間的な重み付け平均により動き歪みを補正したが、射影変換を計算するためには、やはり、映像中の特徴点を用いている。
松永［５］は、ＣＭＯＳセンサを用いたカメラにより撮影された映像における並進歪み変形と揺れの補正を同時に行うために、ローリングシャッターに起因する並進歪み変形を隣接する２画像間の２次元４パラメータアフィン変換により記述して、勾配拘束条件の最小二乗推定を反復することによって、その変換行列を最適に推定した。推定したアフィン変換行列を解析的に分解することにより並進パラメータを計算した。そして、移動カメラの場合に、推定した並進パラメータの時系列変化に対して、TomasiとManduchiによるバイラテラルフィルタ［９］を拡張した巡回型バイラテラルフィルタを発見的に導入した。巡回型バイラテラルフィルタにより揺れ成分を除去して、カメラの移動を保持したまま、映像中の揺れのみを補正した。移動カメラから固定カメラヘ遷移する際にも、変化に忠実な安定化処理を実現した。
本文書では、並進動きによる歪み補正および安定化処理を回転を含む一般の動き歪みの場合に拡張する。その概要は、次の３つの項目に纏められる。
１）回転を含む剛体歪み変換モデルを定式化する。これは、歪みのない画像と歪み画像間における歪み変換と、歪みのない画像間における動き変換の合成の１次近似によるものである。これによって、さらに高自由度な相似、アフィン、射影変換による動き歪み変換のモデル化も可能となる。
１）回転を含む剛体歪み変換モデルを定式化する。これは、歪みのない画像と歪み画像間における歪み変換と、歪みのない画像間における動き変換の合成の１次近似によるものである。これによって、さらに高自由度な相似、アフィン、射影変換による動き歪み変換のモデル化も可能となる。
２）剛体歪み変換の補正パラメータの推定には、“Lucas-Kanadeアルゴリズム［４］”を効率的に計算する“逆結合Lucas-Kanadeアルゴリズム［１］”の更新量を１次近似する“近似逆結合Lucas-Kanadeアルゴリズム［７］”の適用が可能なことを示す。
３）隣接する剛体歪み２画像間における変換パラメータの推定結果による歪み補正処理と安定化処理を導出するとともに、剛体歪み画像列に対しても、移動カメラにおける安定化処理のために、推定した並進パラメータに対する時系列フィルタ処理として、レベル適応による“巡回型バイラテラルフィルタ［５，６］”が有効であることを示す。
本文書の構成は、２章で、ＣＭＯＳ動き歪みモデルとしてローリングシャッター機構による動き歪みのモデルについて説明する。３章で、ＣＭＯＳ動き歪みモデルとして、並進歪みモデルを記述して、その後、回転を含む剛体歪みモデルに拡張する。４章で、Lucas-Kanadeアルゴリズム、さらに、Lucas-Kanadeアルゴリズムを効率的に計算する逆結合Lucas-Kanadeアルゴリズムの更新量を１次近似する近似逆結合Lucas-Kanadeアルゴリズムによる剛体歪み変換のパラメータ推定について説明する。５章で、推定した剛体歪み変換パラメー夕による剛体歪み補正および揺れの安定化のための時系列処理について説明する。６章で人工画像および実画像列によるシミュレーション実験を行い、本文書の手法による結果を示して、７章で纏める。
（２．ＣＭＯＳ動き歪みモデル）
ＣＭＯＳセンサはＣＣＤセンサとは異なるシャッター機構を持つ。ＣＣＤセンサではすべての画素が同時に露光されるが、ＣＭＯＳセンサの場合、小型、低価格を達成するためにライン走査による順次露光を用いている。したがって、カメラの動きが走査時間に比較して非常に大きい場合、ＣＭＯＳセンサの最初と最後のラインの時間差のために、ＣＭＯＳカメラ映像はカメラの動きによって歪む。図３では、そのようなローリングシャッター機構において、走査時間の間にシーン中の物体が動くと、画像中では、どのように歪んで見えるのかを示している（物体とカメラの動きは相対的である）。
ＣＭＯＳセンサはＣＣＤセンサとは異なるシャッター機構を持つ。ＣＣＤセンサではすべての画素が同時に露光されるが、ＣＭＯＳセンサの場合、小型、低価格を達成するためにライン走査による順次露光を用いている。したがって、カメラの動きが走査時間に比較して非常に大きい場合、ＣＭＯＳセンサの最初と最後のラインの時間差のために、ＣＭＯＳカメラ映像はカメラの動きによって歪む。図３では、そのようなローリングシャッター機構において、走査時間の間にシーン中の物体が動くと、画像中では、どのように歪んで見えるのかを示している（物体とカメラの動きは相対的である）。
図３は、ＣＭＯＳカメラの順次露光による動き歪みを説明する図であり、上段が縦線が画像の右方向へ移動する場合（カメラが左を向く場合）とその結果の歪み画像を説明し、下段が円が画像の下方向へ移動する場合（カメラが上を向く場合）とその結果の歪み画像を説明する図である。
画像縦横サイズがＶ×ＨのＣＭＯＳカメラが動くと、撮影されたシーン中の物体の任意の点ｘが１フレーム期間中に画像の動きｕによって動くとする。その速度ｖは１フレーム時間Ｔｆで割ることによって得られる。
画像縦横サイズがＶ×ＨのＣＭＯＳカメラが動くと、撮影されたシーン中の物体の任意の点ｘが１フレーム期間中に画像の動きｕによって動くとする。その速度ｖは１フレーム時間Ｔｆで割ることによって得られる。
（３．並進歪みから回転歪みへ）
（３．１並進歪みの場合）
１フレーム期間中の画像の動きを、並進動きと仮定すると、
であり、これを式（３）に代入すると、
したがって、
の間の並進動きによる歪み変換は次のようになる（ここでは、点の位置ベクトルを同次形式としている）。
したがって、並進歪みによる隣接する２画像
の間の関係は次のようになる（図４参照）。ここで、図４は、ＣＭＯＳカメラの並進歪みを説明する図である。
並進動きによる歪み変形を表す変換行列Ａｎは、２次元アフィン変換になるが、その自由度（未知パラメータの個数）は４である。松永［５］は、勾配拘束条件の最小二乗推定を反復することによって、並進動きによる歪み変形を表す４パラメータアフィン変換行列Ａｎを、最適に計算して、それを解析的に分解することにより並進パラメータ
を求めた。
（３．２回転歪みの場合）
本書面では、回転運動を含む、より高自由度な動き歪みの場合に拡張する。純粋回転を仮定すると、
である。ただし、回転行列Ｒにおける回転角θは小さいものとして１次近似した。並進動きによる歪み同様、これを式（３）に代入すると（ここでの回転を含む歪み変換の式の導出では、添字のｎを省略している）、
式（１２）（１３）より、歪みのない場合の位置ｘ，ｙとＣＭＯＳ歪み位ｘｄ，ｙｄの関係は線形ではないことがわかる。しかし、式（１２）（１３）をｘ，ｙについて解くことはできて、
である。ただし、式（１０）同様、θは小さいとして、その高次項を無視する近似を行った。
したがって、回転歪み画像を生成することは可能である。計算されるサブピクセル精度の画像位置における画素値は、ピクセル精度の近傍画素位置の画素値を用いて内挿補間生成すればよい［５］。注意すべきは、回転中心が左上画像原点になることである。図５に回転歪み画像例を示す。
図５は、シミュレーションにより生成したＣＭＯＳ回転歪み画像を説明する図であり、図５（ａ）がカメラ動きなし（基準画像）を示し、図５（ｂ）がカメラが３度回転（時計回りの回転）すると画像は左に変形する状態を示し、図５（ｃ）がカメラが−３度回転（反時計回りの回転）すると画像は右に変形する状態を示している。
並進成分を加えた剛体歪みの場合は、式（１０）に、
を加えると、
これらの事実から、パラメータ同士の積項を無視する１次近似によって、回転を含む動きにおいても、歪みのない画像と歪み画像の間の幾何学的な変換をパラメータに関して線形とすることができる。そこで、動きによる変換と歪み変形による変換に分けてモデル化して、それらを合成して、さらに１次近似する。
式（１６）（１７）の剛体歪み変換をパラメータ同士の積項を無視する１次近似をすると、次のようになる。
そして、歪みのある隣接する２画像
の間の動きを、仮想的な歪みのない隣接する２画像
との間の歪み変形による変換と、歪みのない隣接する２画像間の動きによる変換に分離すると、次のようになる（図６参照）。ここで、図６は、ＣＭＯＳカメラの剛体歪みを説明する図である。
式（２０）を式（２１）に代人して、パラメータ同士の積項を無視する１次近似を行う。
さらに、式（２３）（２４）を式（２２）に代人して、パラメータ同士の積項を無視する１次近似を行う。
ここで、
このようにすると、回転を含む剛体歪みのみならず、より高自由度な相似、アフィン、射影変換による動き歪みについても同様にモデル化を行うことが可能となる（当然ではあるが、並進歪みも同様である。並進歪みにおける４パラメータアフィン変換行列Ａｎの各要素をパラメータ同士の積項を無視する１次近似すると、式（２５）（２６）においてｐ２ｎ＝ｑ２ｎ＝０としたものと一致する）。
（４．ＣＭＯＳ動き歪みの推定）
剛体歪み変換
は、次のようになる。
したがって、剛体歪み変換は
の高次項を含む多項式変換である。剛体歪み変換パラメータ
を“近似逆結合Lucas-Kanadeアルゴリズム［７］”により推定する。これは、Lucas-Kanadeアルゴリズム［４］を効率的に推定する逆結合Lucas-Kanadeアルゴリズム［１］における更新量を１次近似したものである［７］。Lucas-Kanadeアルゴリズムは画素を直接処理する領域ベースの手法であり、何らの画像特徴や対応付けを必要としない。松永［５］は、勾配拘束条件の最小二乗推定を反復的に解くことによって並進歪みによる４パラメータアフィン変換の最適化を行ったが、それは、Lucas-Kanadeアルゴリズムと等価である。
第ｎ＋１フレームの剛体歪み画像
を第ｎフレームの剛体歪み画像
に合わせる。
だから、Lucas-Kanadeアルゴリズムにより、次の差分二乗総和を最小化するｐｎを推定する。
式（２９）が、
と摂動したとする。それをテイラー展開して１次近似したものを△ｐｎで微分して０と置く。△ｐｎについて解くと次のようになる。
ここで、
は第ｎ＋１フレーム画像
での勾配である。
∂ｗ/∂ｐｎはヤコビ行列と呼ばれ、剛体歪み変換の場合には、次のようになる。
したがって、ｐｎは適当な初期値から△ｐｎを反復的に解くことによって、求めることができる。これは、ヘッセ行列を計算するのに２階微分を行わずに近似する“ガウス・ニュートン法［３］”であるが、ヘッセ行列Ｈｎ＋１（の逆行列）は、反復毎に計算しなければならない。
そこで、第ｎフレーム画像と第ｎ＋１フレーム画像の役割を次のように交換する。
となる。ヤコビ行列∂Ｗ/∂ｐｎは
で評価する。これはパラメータによらず、予め計算しておくことができる。反復毎に第ｎ＋１フレーム画像Ｉｎ＋１を変換して、それから誤差画像
と第ｎフレーム画像の最急降下画像
の積和を計算する。そして、予め計算しておいた第ｎフレーム画像のヘッセ行列の逆行列
を掛けたものを変化量とするが、その更新方法が異なる。変化量を加算により更新するのではなく、変化量による変換（の逆変換）を合成することにより更新する。
これは、逆結合Lucas-Kanadeアルゴリズム（Inverse Compositional Algorithm）と呼ばれ、Lucas-Kanadeアルゴリズムの効率的な方法として提案されている［１］。
しかし、高次項を含む多項式変換である剛体歪み変換の逆変換を解析的に求めることはできない。そこで、逆変換を１次近似して、さらに、変換との合成結果を１次近似する。そのようにしても、通常は問題ないことが実験的に確認される［７］。すなわち、
である。このような逆結合による更新を１次近似によって、逆方向の加算とすることでLucas-Kanadeアルゴリズムの効率化が図れることから、これを“近似逆結合Lucas-Kanadeアルゴリズム”と呼ぶ［７］。
（５．ＣＭＯＳ動き歪み補正と安定化処理）
（５．１固定カメラの場合）
隣接する２画像間の動きを推定して、歪みのない第１フレーム基準画像に対して位置合わせを行うことにより、動き歪み補正とともに映像の安定化を行う。まず、第ｎ＋１フレーム歪み画像
を仮想的な歪みのない第ｎフレーム画像
に位置合わせする（図６参照）。
式（３８）を式（３９）に代人して、パラメータ同士の積項を無視する１次近似すると、
である。ただし、α＝１のとき、
であることを用いた（第１フレーム基準画像は歪みなしと仮定しているから）。
についても、同様である。そして、歪みのない第１フレーム基準画像
に位置合わせをするためには、
である。したがって、動き歪み補正と安定化は、すべてのパラメータの推定結果の累積加算により行えばよい。
（５．２移動カメラの場合）
問題は、移動カメラの場合であり、映像に含まれる動きが不要な揺れなのか、有意なカメラの動きなのかを判別しなければならない。なぜなら、第１フレームを基準画像として固定すると、移動カメラの場合には、カメラが移動するに従って、補正ができなくなる。
松永［５］は、隣接する並進歪み２画像間の並進パラメータの推定結果に対して時系列フィルタ処理を行うことによって、移動カメラにおける安定化処理を行った。時系列フィルタには、信号のレベル差に応じた重み係数を導入した巡回型フィルタを用いた。低域通過フィルタとして巡回型フィルタを用いると、現在と過去のデータしか使わないので余分なフレーム遅延が発生せず、処理全体の遅延量の観点から優位であり、レベル適応により静止から移動、あるいは、移動から静止へのカメラの状態の遷移にも追従が可能となる。
これは、バイラテラルフィルタ［９］の巡回型フィルタへの拡張と見なすことができる（詳細は［５，６］参照）。松永は、これを“拡張バイラテラルフィルタ”と呼んで、画像ノイズ除去処理にも用いた［６］。
図７は、ＣＭＯＳカメラ映像の動き歪み補正および映像安定化処理のブロック図である（文献［５］では誤りがあったので修正している）。図７中、動き推定（Motion Estimaiton）により隣接する２画像
の間の動き歪みパラメータを推定する。動き歪みパラメータの内の並進成分
に対して、時系列フィルタ処理（ＬＰＦ）を行う。時系列フィルタ処理結果
との差分
を累積加算した並進成分
によって、動き歪み補正と安定化処理（Motion Correction）を行う（その他の成分についても同様に累積加算したものを用いる）。Ｚ−１は１フレーム遅延を表す。
時系列フィルタ処理が完全であれば、固定カメラの場合の低域通過フィルタの出力は厳密に０となり（不要な揺れによる移動量が期待値０の正規分布に従うと仮定する）、フィルタ処理結果との差分は並進パラメータそのものになる。しかし、実際にはそうとは限らないので、現在のフレームと前フレームにおけるフィルタ出力結果の差分絶対値のしきい値処理によって、固定／移動カメラの判別を行う。固定カメラと判定された場合には、並進パラメータの累積加算値によって補正する。最終的な補正パラメータによるサブピクセル精度の画素座標における画素値は、近傍画素による内挿補間により計算する［５］。
（６．画像シミュレーション）
（６．１人工画像シミュレーション）
図８は、図５の格子画像を歪み変形させたシミュレーション画像において、カメラの動きなしの画像を基準画像として、回転歪み補正した結果である。図８（ａ）が、ＣＭＯＳ回転歪み補正画像のカメラ動きなしの場合（基準画像）を示し、（ｂ）（ｃ）が、図５のカメラの動きによる回転歪み画像（ｂ）（ｃ）の補正結果を示すものである。図８においては、画像境界は歪み変形の補正がわかりやすいように黒のままとしている。図８によれば、回転歪み変形が補正できているのがわかる。
（６．２実画像列シミュレーション（固定カメラの場合））
ディジタルカメラ（ニコンＤ４０）で撮影した３００８×２０００画素の画像に対して、剛体歪みパラメータを与えて、その一部分を切り出して、剛体歪み画像を生成する。水平および垂直方向にそれぞれ平均０、標準偏差１画素の正規乱数による並進パラメータ、平均０、標準偏差０．２度の正規乱数による回転パラメータを用いて剛体歪み画像列を生成する。生成した画像サイズは６４０×４８０画素である。これは、固定カメラによる定点監視映像と見なすことができる。
図９（ａ）はそのようにして生成した剛体歪み画像列の加算平均画像である（６０フレーム）。歪み変形と揺れにより輪郭が重なって見える。第１フレームを基準画像として、第２フレーム以降、順次隣接する２画像間の剛体歪みパラメータを推定した結果を用いて歪み補正および安定化処理を行った。図９（ｂ）は処理結果の画像列の加算平均画像である。処理前の加算平均画像に対して、安定化処理によって加算平均画像は明瞭に見
える。画像境界付近の黒は補正処理による見切れのためである。
図１０（ａ）〜（ｃ）は、剛体歪み画像列の生成に用いたフレームに対する並進および回転パラメータである。剛体歪みパラメータの推定結果（estimate （rigid））とともに、真の値（true）も表示している。並進に関しては、並進歪み補正モデルによる推定結果（estimate（trans））も表示している。剛体歪みパラメータの推定結果は、ほぼ真の値に一致しているが、並進歪み補正モデルによる推定結果は、モデル化誤差のため十分ではない。
第１フレーム基準画像と補正画像の間の二乗誤差画像のピークＳＮ比により定量的に評価する。ピークＳＮ比ＰＳＮＲは二乗誤差画像の平均輝度値（平均ノイズ電力）ＭＳＥおよび最大輝度値（最大信号電力）
から
次のように求められる（実験では、Ｉｍａｘを８ビット最大画素値２５５とした）。
補正画像の中央領域９０％におけるピークＳＮ比の平均値は、剛体歪み補正モデルの場合に６１．８５（±１．１８）［ｄＢ］であり、並進歪み補正モデルの場合に４６．３１（±１０．４９）［ｄＢ］であった（括弧内は標準偏差を表す）。図１０（ｄ）にフレームに対するピークＳＮ比の変化を示す。
（６．３実画像列シミュレーション（移動カメラの場合））
図１１は、ディジタルカメラ（キヤノンＩＸＹ ＤＩＧＩＴＡＬ５００（登録商標））で撮影した２５９２×１９４４画素の画像に対して、剛体歪みパラメータを与えて、その一部分を切り出して生成した剛体歪み画像列の一部である。水平および垂直方向の基準となる並進パラメータ
に対して、それぞれ平均０、標準偏差１画素の正規乱数を加えた並進パラメータ、平均０、標準偏差０．２度の正規乱数による回転パラメータを用いて剛体歪み画像列を生成する。生成した画像サイズは７２０×４８６画素である。図中、画像は左から右の順に、カメラが左上方ヘパンアップしている等速直線運動する移動カメラによる映像と見なすことができる。同図上段は、そのようにして生成した原画像列であり、中段は、固定カメラとして補正した結果の画像列、下段は移動カメラとして補正した結果の画像列である。
固定カメラとして行った歪み補正および安定化処理の結果は、第１フレームを基準として安定しているが、入力が移動カメラによる画像列のため、基準フレームから大きく移動すると、次第に見切れる領域が大きくなって行く。一方、移動カメラとして行った歪み補正および安定化処理の結果は、カメラの移動に伴い、補正処理が追従しているのがわかる。ここでは、不要な揺れ成分を除去して、カメラの軌跡を滑らかにするために、隣接２画像間において推定した並進パラメータの時系列変化に対して１次バタワース巡回型バイラテラルフィルタ処理［５］を行い、その結果の並進パラメータを用いて各フレームを補正した。１次バタワース巡回型バイラテラルフィルタにおけるカットオフ周波数は水平および垂直方向いずれも０．０１Ｈｚ、
をそれぞれ、１５，５とした。図１２は、隣接２画像間の並進パラメータの時系列変化のグラフである。上段が水平方向、下段が垂直方向である。１次バタワース巡回型バイラテラルフィルタにより揺れ成分である高周波成分が除去されて並進パラメータが滑らかになっているのがわかる。
さらに、並進パラメータを
として、同様に正規乱数を加えて、引き続き剛体歪み画像列を生成する。すなわち、カメラが移動した後、静止して固定カメラになる場合である。図１２の３２フレーム目の移動カメラから固定カメラヘの変化点において、カットオフ周波数が０．７５Ｈｚの１次バタワース巡回型フィルタにより平滑化した並進パラメータは、平滑化作用による減衰のためカメラが静止したフレームを越えても、すぐには０にはならない。一方、１次バタワース巡回バイラテラルフィルタによる平滑化の結果は、移動カメラにおける揺れ成分を除去しつつ、変化点も保持しており、カメラが静止した後もほぼ０に近い平滑結果が得られている。
（まとめ）
本文書では、ＣＭＯＳセンサを用いたカメラにより撮影された映像における動き歪み変形と揺れの補正を同時に行うために、ローリングシヤッターに起因する動き歪み変形を隣接する画像間のグローバルな動きの変換としてモデル化し、回転を含む一般的な運動の場合に拡張した。近似逆結合Lucas-Kanadeアルゴリズムを用いて、何らの画像特徴や対応付けを用いることなく、画素を直接的に処理することにより推定を行った。
画像シミュレーション実験を行い、固定カメラ、移動カメラいずれの映像に含まれる剛体歪み変形を補正するとともに揺れを除去して安定化した。移動カメラの場合には、推定した並進パラメータの時系列変化に対して、巡回型バイラテラルフイルタにより揺れ成分を除去して、カメラの移動を保持したまま、映像中の揺れのみを補正した。移動カメラから固定カメラヘ遷移する際にも、変化に忠実な安定化処理を実現した。
今後の課題としては、次のものが挙げられる。
・局所移動物体や輝度変動に対してロバストな推定補正の実現
・マルチコアＣＰＵ／ＧＰＵによる実時間処理の実現。
なお、図１３〜図３０には、本発明を説明するスライドを示した。
また、本文書中に［＊］（＊は数字）で示した参照先は、＊の数字に該当する下記論文を意味するものである。
［１］S. Baker and l. Matthews, Lucas-Kanade 20 years on: A unifying framework, International Journal of Computer Vision,56-3(2004),221-265.
［２］M. Grundmann, V. Kwatra, D. Caistro, and l. Essa,Calibration-free rolling shutter removal, Proceedings of IEEE Conference on Computational Photography(ICCP2012)，April, 2012.
［３］金谷健一，これなら分かる最適化数学−基礎原理から計算手法まで−」，共立出版, 2005年9月.
［４］B. D. Lucas and T. Kanade, An iterative image registration technique with an application to stereo vision,Proceedings of the 1981 DARPA Image Understanding Workshop, April 1981, 121-130.
［５］松永力，対応点を用いないローリングシャッタ歪み補正と映像安定化，第19回画像センシングシンポジウム(SSII2013)講演論文集,横浜(パシフィコ横浜), 2013年6月.
［６］松永力，無限インパルス応答システムによる拡張バイラテラルフィルタ，第19回画像センシングシンポジウム(SSII2013)講演論文集，横浜(パシフィコ横浜), 2013年6月.
［７］松永力，画像からの倍率色収差の自動推定補正，第20回画像センシングシンポジウム(SSII2014)講演論文集，横浜(パシフィコ横浜), 2014年6月.
［８］E. Ringaby and P.-E. Forssen, Efficient video rectification and stabilisation for cell-phones,International Journal of Computer Vision, 96-3 (2012), 335-352.
［９］C. Tomasi and R. Manduchi, Bilateral filtering for gray and color images,Proceedings of the Sixth IEEE International Conference on Computer Vision(ICCV'98), Bombay, India, January, 1998.
（３．１並進歪みの場合）
１フレーム期間中の画像の動きを、並進動きと仮定すると、
（３．２回転歪みの場合）
本書面では、回転運動を含む、より高自由度な動き歪みの場合に拡張する。純粋回転を仮定すると、
したがって、回転歪み画像を生成することは可能である。計算されるサブピクセル精度の画像位置における画素値は、ピクセル精度の近傍画素位置の画素値を用いて内挿補間生成すればよい［５］。注意すべきは、回転中心が左上画像原点になることである。図５に回転歪み画像例を示す。
図５は、シミュレーションにより生成したＣＭＯＳ回転歪み画像を説明する図であり、図５（ａ）がカメラ動きなし（基準画像）を示し、図５（ｂ）がカメラが３度回転（時計回りの回転）すると画像は左に変形する状態を示し、図５（ｃ）がカメラが−３度回転（反時計回りの回転）すると画像は右に変形する状態を示している。
並進成分を加えた剛体歪みの場合は、式（１０）に、
式（１６）（１７）の剛体歪み変換をパラメータ同士の積項を無視する１次近似をすると、次のようになる。
（４．ＣＭＯＳ動き歪みの推定）
剛体歪み変換
第ｎ＋１フレームの剛体歪み画像
だから、Lucas-Kanadeアルゴリズムにより、次の差分二乗総和を最小化するｐｎを推定する。
∂ｗ/∂ｐｎはヤコビ行列と呼ばれ、剛体歪み変換の場合には、次のようになる。
そこで、第ｎフレーム画像と第ｎ＋１フレーム画像の役割を次のように交換する。
しかし、高次項を含む多項式変換である剛体歪み変換の逆変換を解析的に求めることはできない。そこで、逆変換を１次近似して、さらに、変換との合成結果を１次近似する。そのようにしても、通常は問題ないことが実験的に確認される［７］。すなわち、
（５．ＣＭＯＳ動き歪み補正と安定化処理）
（５．１固定カメラの場合）
隣接する２画像間の動きを推定して、歪みのない第１フレーム基準画像に対して位置合わせを行うことにより、動き歪み補正とともに映像の安定化を行う。まず、第ｎ＋１フレーム歪み画像
（５．２移動カメラの場合）
問題は、移動カメラの場合であり、映像に含まれる動きが不要な揺れなのか、有意なカメラの動きなのかを判別しなければならない。なぜなら、第１フレームを基準画像として固定すると、移動カメラの場合には、カメラが移動するに従って、補正ができなくなる。
松永［５］は、隣接する並進歪み２画像間の並進パラメータの推定結果に対して時系列フィルタ処理を行うことによって、移動カメラにおける安定化処理を行った。時系列フィルタには、信号のレベル差に応じた重み係数を導入した巡回型フィルタを用いた。低域通過フィルタとして巡回型フィルタを用いると、現在と過去のデータしか使わないので余分なフレーム遅延が発生せず、処理全体の遅延量の観点から優位であり、レベル適応により静止から移動、あるいは、移動から静止へのカメラの状態の遷移にも追従が可能となる。
これは、バイラテラルフィルタ［９］の巡回型フィルタへの拡張と見なすことができる（詳細は［５，６］参照）。松永は、これを“拡張バイラテラルフィルタ”と呼んで、画像ノイズ除去処理にも用いた［６］。
図７は、ＣＭＯＳカメラ映像の動き歪み補正および映像安定化処理のブロック図である（文献［５］では誤りがあったので修正している）。図７中、動き推定（Motion Estimaiton）により隣接する２画像
時系列フィルタ処理が完全であれば、固定カメラの場合の低域通過フィルタの出力は厳密に０となり（不要な揺れによる移動量が期待値０の正規分布に従うと仮定する）、フィルタ処理結果との差分は並進パラメータそのものになる。しかし、実際にはそうとは限らないので、現在のフレームと前フレームにおけるフィルタ出力結果の差分絶対値のしきい値処理によって、固定／移動カメラの判別を行う。固定カメラと判定された場合には、並進パラメータの累積加算値によって補正する。最終的な補正パラメータによるサブピクセル精度の画素座標における画素値は、近傍画素による内挿補間により計算する［５］。
（６．画像シミュレーション）
（６．１人工画像シミュレーション）
図８は、図５の格子画像を歪み変形させたシミュレーション画像において、カメラの動きなしの画像を基準画像として、回転歪み補正した結果である。図８（ａ）が、ＣＭＯＳ回転歪み補正画像のカメラ動きなしの場合（基準画像）を示し、（ｂ）（ｃ）が、図５のカメラの動きによる回転歪み画像（ｂ）（ｃ）の補正結果を示すものである。図８においては、画像境界は歪み変形の補正がわかりやすいように黒のままとしている。図８によれば、回転歪み変形が補正できているのがわかる。
（６．２実画像列シミュレーション（固定カメラの場合））
ディジタルカメラ（ニコンＤ４０）で撮影した３００８×２０００画素の画像に対して、剛体歪みパラメータを与えて、その一部分を切り出して、剛体歪み画像を生成する。水平および垂直方向にそれぞれ平均０、標準偏差１画素の正規乱数による並進パラメータ、平均０、標準偏差０．２度の正規乱数による回転パラメータを用いて剛体歪み画像列を生成する。生成した画像サイズは６４０×４８０画素である。これは、固定カメラによる定点監視映像と見なすことができる。
図９（ａ）はそのようにして生成した剛体歪み画像列の加算平均画像である（６０フレーム）。歪み変形と揺れにより輪郭が重なって見える。第１フレームを基準画像として、第２フレーム以降、順次隣接する２画像間の剛体歪みパラメータを推定した結果を用いて歪み補正および安定化処理を行った。図９（ｂ）は処理結果の画像列の加算平均画像である。処理前の加算平均画像に対して、安定化処理によって加算平均画像は明瞭に見
える。画像境界付近の黒は補正処理による見切れのためである。
図１０（ａ）〜（ｃ）は、剛体歪み画像列の生成に用いたフレームに対する並進および回転パラメータである。剛体歪みパラメータの推定結果（estimate （rigid））とともに、真の値（true）も表示している。並進に関しては、並進歪み補正モデルによる推定結果（estimate（trans））も表示している。剛体歪みパラメータの推定結果は、ほぼ真の値に一致しているが、並進歪み補正モデルによる推定結果は、モデル化誤差のため十分ではない。
第１フレーム基準画像と補正画像の間の二乗誤差画像のピークＳＮ比により定量的に評価する。ピークＳＮ比ＰＳＮＲは二乗誤差画像の平均輝度値（平均ノイズ電力）ＭＳＥおよび最大輝度値（最大信号電力）
次のように求められる（実験では、Ｉｍａｘを８ビット最大画素値２５５とした）。
（６．３実画像列シミュレーション（移動カメラの場合））
図１１は、ディジタルカメラ（キヤノンＩＸＹ ＤＩＧＩＴＡＬ５００（登録商標））で撮影した２５９２×１９４４画素の画像に対して、剛体歪みパラメータを与えて、その一部分を切り出して生成した剛体歪み画像列の一部である。水平および垂直方向の基準となる並進パラメータ
固定カメラとして行った歪み補正および安定化処理の結果は、第１フレームを基準として安定しているが、入力が移動カメラによる画像列のため、基準フレームから大きく移動すると、次第に見切れる領域が大きくなって行く。一方、移動カメラとして行った歪み補正および安定化処理の結果は、カメラの移動に伴い、補正処理が追従しているのがわかる。ここでは、不要な揺れ成分を除去して、カメラの軌跡を滑らかにするために、隣接２画像間において推定した並進パラメータの時系列変化に対して１次バタワース巡回型バイラテラルフィルタ処理［５］を行い、その結果の並進パラメータを用いて各フレームを補正した。１次バタワース巡回型バイラテラルフィルタにおけるカットオフ周波数は水平および垂直方向いずれも０．０１Ｈｚ、
さらに、並進パラメータを
（まとめ）
本文書では、ＣＭＯＳセンサを用いたカメラにより撮影された映像における動き歪み変形と揺れの補正を同時に行うために、ローリングシヤッターに起因する動き歪み変形を隣接する画像間のグローバルな動きの変換としてモデル化し、回転を含む一般的な運動の場合に拡張した。近似逆結合Lucas-Kanadeアルゴリズムを用いて、何らの画像特徴や対応付けを用いることなく、画素を直接的に処理することにより推定を行った。
画像シミュレーション実験を行い、固定カメラ、移動カメラいずれの映像に含まれる剛体歪み変形を補正するとともに揺れを除去して安定化した。移動カメラの場合には、推定した並進パラメータの時系列変化に対して、巡回型バイラテラルフイルタにより揺れ成分を除去して、カメラの移動を保持したまま、映像中の揺れのみを補正した。移動カメラから固定カメラヘ遷移する際にも、変化に忠実な安定化処理を実現した。
今後の課題としては、次のものが挙げられる。
・局所移動物体や輝度変動に対してロバストな推定補正の実現
・マルチコアＣＰＵ／ＧＰＵによる実時間処理の実現。
なお、図１３〜図３０には、本発明を説明するスライドを示した。
また、本文書中に［＊］（＊は数字）で示した参照先は、＊の数字に該当する下記論文を意味するものである。
［１］S. Baker and l. Matthews, Lucas-Kanade 20 years on: A unifying framework, International Journal of Computer Vision,56-3(2004),221-265.
［２］M. Grundmann, V. Kwatra, D. Caistro, and l. Essa,Calibration-free rolling shutter removal, Proceedings of IEEE Conference on Computational Photography(ICCP2012)，April, 2012.
［３］金谷健一，これなら分かる最適化数学−基礎原理から計算手法まで−」，共立出版, 2005年9月.
［４］B. D. Lucas and T. Kanade, An iterative image registration technique with an application to stereo vision,Proceedings of the 1981 DARPA Image Understanding Workshop, April 1981, 121-130.
［５］松永力，対応点を用いないローリングシャッタ歪み補正と映像安定化，第19回画像センシングシンポジウム(SSII2013)講演論文集,横浜(パシフィコ横浜), 2013年6月.
［６］松永力，無限インパルス応答システムによる拡張バイラテラルフィルタ，第19回画像センシングシンポジウム(SSII2013)講演論文集，横浜(パシフィコ横浜), 2013年6月.
［７］松永力，画像からの倍率色収差の自動推定補正，第20回画像センシングシンポジウム(SSII2014)講演論文集，横浜(パシフィコ横浜), 2014年6月.
［８］E. Ringaby and P.-E. Forssen, Efficient video rectification and stabilisation for cell-phones,International Journal of Computer Vision, 96-3 (2012), 335-352.
［９］C. Tomasi and R. Manduchi, Bilateral filtering for gray and color images,Proceedings of the Sixth IEEE International Conference on Computer Vision(ICCV'98), Bombay, India, January, 1998.
本発明は、映像処理全般、特に、映像監視やセキュリティに好適である。映像の動き情報を推定して、動き補正処理を行うビデオスタビライザ、フレームレー卜変換等の処理を遂行する場合の基礎とできる。
Claims (6)
- ＣＭＯＳセンサから取得された映像に対して、ローリングシャッタに起因する回転動き歪み変形を含む隣接する２画像間の動きを、前記回転動き歪みのない仮想的な２画像間の動きとして、逆結合Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズムの更新量を１次近似することにより並進及び回転パラメータを推定する
ことを特徴とする映像安定化処理方法。 - 請求項１に記載の映像安定化処理方法において、
移動カメラの場合には、推定した前記並進パラメータの時系列処理を遂行する
ことを特徴とする映像安定化処理方法。 - 請求項１または請求項２に記載の映像安定化処理方法において、
ＣＭＯＳセンサから取得された映像における回転動き歪み変形と、揺れの補正と、を同時に行うこと
ことを特徴とする映像安定化処理方法。 - 請求項１乃至請求項３のいずれか一項に記載の映像安定化処理方法をコンピュータに実行させるためのプログラム。
- 請求項４に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
- 請求項１乃至請求項３のいずれか一項に記載の映像安定化処理方法を実行するビデオスタビライザー。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015104074A JP6505501B2 (ja) | 2015-05-22 | 2015-05-22 | ローリングシャッタ回転歪み補正と映像安定化処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015104074A JP6505501B2 (ja) | 2015-05-22 | 2015-05-22 | ローリングシャッタ回転歪み補正と映像安定化処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016220083A JP2016220083A (ja) | 2016-12-22 |
| JP6505501B2 true JP6505501B2 (ja) | 2019-04-24 |
Family
ID=57581687
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015104074A Active JP6505501B2 (ja) | 2015-05-22 | 2015-05-22 | ローリングシャッタ回転歪み補正と映像安定化処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6505501B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7023490B2 (ja) * | 2017-10-20 | 2022-02-22 | 株式会社朋栄 | 高精度色補正処理方法及び高精度色補正処理装置 |
| JP2020031264A (ja) | 2018-08-20 | 2020-02-27 | ソニーセミコンダクタソリューションズ株式会社 | 信号処理装置、撮像装置、信号処理方法 |
| WO2023123371A1 (en) * | 2021-12-31 | 2023-07-06 | Qualcomm Incorporated | Image correction based on activity detection |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008028500A (ja) * | 2006-07-19 | 2008-02-07 | Sony Corp | 画像処理装置、方法、およびプログラム |
| JP6202879B2 (ja) * | 2013-05-20 | 2017-09-27 | 株式会社朋栄 | ローリングシャッタ歪み補正と映像安定化処理方法 |
-
2015
- 2015-05-22 JP JP2015104074A patent/JP6505501B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016220083A (ja) | 2016-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10192347B2 (en) | 3D photogrammetry | |
| JP6202879B2 (ja) | ローリングシャッタ歪み補正と映像安定化処理方法 | |
| US8428390B2 (en) | Generating sharp images, panoramas, and videos from motion-blurred videos | |
| JP6448218B2 (ja) | 撮像装置、その制御方法および情報処理システム | |
| KR102563750B1 (ko) | 영상 블러링 제거 방법 및 장치 | |
| Shimizu et al. | Super-resolution from image sequence under influence of hot-air optical turbulence | |
| EP3296952B1 (en) | Method and device for blurring a virtual object in a video | |
| JP2011217044A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| JP6253280B2 (ja) | 撮像装置およびその制御方法 | |
| JP6236259B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| KR20150011938A (ko) | 멀티-카메라 플랫폼 기반으로 캡쳐된 파노라마 영상의 안정화 방법 및 장치 | |
| CN108830925B (zh) | 一种基于球幕视频流的三维数字化建模方法 | |
| JP6505501B2 (ja) | ローリングシャッタ回転歪み補正と映像安定化処理方法 | |
| JP2000152073A (ja) | ひずみ補正方法 | |
| CN116091868A (zh) | 在线视频防抖设备、在线视频防抖方法及其学习方法 | |
| CN109729263B (zh) | 基于融合运动模型的视频除抖方法 | |
| KR102003460B1 (ko) | 왜곡제거장치 및 방법 | |
| JP4661514B2 (ja) | 画像処理装置、および、画像処理方法、プログラム、並びに、記録媒体 | |
| CN114429191A (zh) | 基于深度学习的电子防抖方法、系统及存储介质 | |
| CN113763544A (zh) | 图像确定方法、装置、电子设备和计算机可读存储介质 | |
| Tico et al. | Method of motion estimation for image stabilization | |
| WO2021106499A1 (ja) | ローリングシャッター映像の安定化及びモーションブラー除去処理方法とその装置 | |
| KR102236473B1 (ko) | 영상 처리 방법 및 그 장치 | |
| JP7164873B2 (ja) | 画像処理装置及びプログラム | |
| TWI632814B (zh) | 視訊畫幀產生方法及其系統 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180517 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190214 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190304 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190327 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6505501 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |