JP4500875B2 - モーションブラー効果を除去する方法および装置 - Google Patents

Description

本発明は、モーションブラーの検出および除去に関し、特に、本発明は、動き補正、およびモーションブラーの無い画像生成のための方法および装置に関する。

現在、デジタル写真撮影は、かなりの注目および人気を得ている。これは、特に、写真撮影が職業ではない写真家にとって顕著である。デジタル写真撮影はまた、ビジネスおよび商売においても用途が増大した。撮影後すぐに利用できるため、またデジタル画像を容易に電子文書に組み込むことができるため、デジタル画像の技術は、画像を記録する最も望ましい形式の１つになっている。

従来、デジタルカメラなどのような携帯装置の多くは、画像をキャプチャする間にユーザが引き起こすカメラぶれのようなブラーによって生じる、キャプチャ画像への悪影響を防止するために、内蔵式のブラー補正機能を備えて販売されている。また、携帯装置でキャプチャされる画像は、高速移動する物体の画像をキャプチャする間の不所望なぶれによって生じる「モーションブラー」を被ることがある。これは、露光時間がかなり長い静止画像の場合のみならず、携帯電話のカメラのような、画像キャプチャに際し安定させるのが難しい軽量の携帯装置の場合に顕著である。

キャプチャ画像へのモーションブラーの悪影響を改善するために、典型的には、種々のブラー補正技術が適用されてきた。例えば、ＵＳ２００４／０１３０６２８Ａ1には、デジタルカメラの動きが特定の動き判定基準を満たすまで、デジタル画像のキャプチャを遅延させる方法が記載されている。この方法によれば、運きファクタを分析し、トラッキング手法、および画像のキャプチャを遅延させるよう構成した制御ロジックによって、更なる動きが検出されなくなるまで、画像のキャプチャを遅延させる。しかしながら、一旦画像をキャプチャしてしまうと、キャプチャした画像は、それ以上処理することも分析も行われない。

また、他のブラー補正機能は、２つのカテゴリに分類できる。第１カテゴリの機械式および光学式の補正システムでは、画像組の動きを機械式センサ（アクセロメータ）によってキャプチャして、光学手段（例えば可変プリズム）によって補償して、画像がセンサ上で安定状態を保つようにする。例えば、振動ジャイロのようなセンサが動きを検出し、その検出結果に基づいて、可変頂角プリズムの頂角を変化させたり、または画像検出レンズの一部をシフトさせたりして、これにより、画像検出面上にキャプチャされる画像のブラーを防止する。

第２カテゴリのデジタル画像処理補正システムでは、画像の静的分析によって、ブラーを生じさせる動きを推定する方法により、キャプチャ画像を「オフライン」で処理してから、それを補償するための補正を施す。すなわち、ＣＣＤのような画像検出デバイスによって検出される画像の、ディスプレイに表示される部分をカメラぶれに応じて変化させ、これにより、ディスプレイ上にブラーのない画像を表示する。

しかしながら、上述したこれら従来のブラー除去技法は、多くの要因により、満足のいくものでないことがしばしばある。機械式および光学式の補正システムは、優れた結果を提供するものであるが、それらを携帯装置に一体化するに際して高コストになるため、大部分は高級な装置に用いられる。さらに、それらのサイズは、それらのシステムをかなり小型の携帯装置に適合させるのにはふさわしくない。他の制約としては、それらのシステムは、カメラの動きを補償するだけであり、動いている物体のブラー効果を補償するために、画像の一部をデブラー（deblur）することはできない。

同様に、画像修正は、動きの正確なモデルに非常に敏感であるため、デジタル画像処理の補正法は、その品質が制限される。まず、この動きの情報は、画像処理の時間に入手することはできず、また静的な画像分析により行われる動きの推定は困難であり、確固たるものではない。特に、この方式は、主となる物体の動きが、任意の方向、つまり画像の水平軸または垂直軸の１つと必ずしも平行にならない方向のグローバルな並進を伴う状況では制約を受ける。さらに、その方式は、動きがグローバルな並進ではなく、回転も含む状況や、動きが均一でなく、画像のいくつかの領域に異なる特定の動きがある状況では、充分に機能しない。

したがって、上述した課題を回避し、低コストで簡単に実施できる、デジタルモーションブラーを除去する改良した方法、および、主にビデオカメラや携帯電話のカメラなどのような携帯装置によって得られる動き画像のブラーを補正するのに用いる、対応する装置を提供することが所望されている。

本発明の目的は、補正すべき画像をキャプチャする直前にキャプチャされる一連の画像シーケンスから抽出される動き情報を用いて、イメージ、即ち画像の不安定なキャプチャに関連するモーションブラーを除去することによって、ブラーのないデジタル画像を生成して表示する、改善した方法および装置を提供することにある。特に、本発明は、前のシーケンスの画像の動き情報を推定し、動き推定の技法を用いてそれらを分析してから、動き推定情報に基づいて、補正すべき画像の動きを外挿することを含む。

本発明は、特に、動き補正の対象となるデジタル画像のモーションブラー効果を除去する方法を提供し、当該方法は、（ａ）デジタル画像をキャプチャする直前にキャプチャされる一連の画像シーケンスから動き情報を抽出するステップと、（ｂ）デジタル画像のキャプチャ開始時点および終了時点のタイミング情報を抽出するステップと、（ｃ）抽出した動き情報およびタイミング情報を用いて、動き推定技法に基づいて画像対画像の分析を行うことによって、画像シーケンスに対して推定される、推定動き情報を生成するステップと、（ｄ）推定動き情報画像を用いて、デジタル画像のキャプチャ開始時点と終了時点との間の時間間隔内にてデジタル画像の動き情報を外挿するステップと、（ｅ）外挿した動き情報を用いてデジタル画像の動きを補償することによって、デジタル画像のモーションブラー効果を除去するステップと、を含む。

次の特徴を１つ以上含むこともできる。

本発明の一態様では、推定動き情報を生成するステップは、画像の全ピクセルまたは画像のピクセルブロックに対する、推定動きベクトルを供給するステップを含む。

他の態様では、前記方法は、グローバル動き推定モデルを用いて推定される動きベクトルを供給するステップも含む。また、グローバル動き推定モデルを用いて、画像シーケンスにおける１つの画像から次の画像までの動きベクトルを供給するステップは、画像をブロックに細分するステップと、各ブロックにブロックマッチングアルゴリズムを用いるステップと、ブロックと同数の動きブロックベクトルを生成するステップとを含む。

さらに他の態様では、前記方法は、ブロックの動きベクトルにメジアンフィルタを用いるステップ、およびグローバルな動きベクトルを抽出するステップも含む。

さらに、前記方法は、動きの水平および垂直方向の並進に対応する動きベクトルを生成するステップのみならず、動きの回転並進に対応する動きベクトルを生成するステップを含むこともできる。

また、推定動き情報を生成するステップは、各動きベクトルに対して、時間の近似関数を計算するステップ、および画像シーケンスの推定されたオフセットにて誤差基準を最小化するステップを含むこともできる。

本発明は、動き補正の対象となるデジタル画像のモーションブラー効果を除去するように構成した装置にも関し、当該装置は、デジタル画像をキャプチャする直前にキャプチャされる一連の画像シーケンスから動き情報を抽出するように適合させたイメージセンサと、画像キャプチャの開始時点および終了時点のタイミング情報を抽出するように適合させたキャプチャモジュールと、抽出した動き情報およびタイミング情報を用いて、動き推定技法に基づいて画像対画像の分析を行うことによって、画像シーケンスに対して推定される、推定動き情報を生成するように適合させた動き推定器と、推定動き情報を用いて、デジタル画像のキャプチャ開始時点と終了時点との間の時間間隔内にてデジタル画像の動き情報を推定するように適合させた外挿器と、外挿した動き情報を用いて、デジタル画像の動きを補正することによって、デジタル画像のモーションブラー効果を除去するように構成した動きデブラーモジュールと、を含む。

前記方法および装置の他の特徴は、従属請求項に記載した通りのものである。

本発明の更なる目的および利点は、以下の図面および好適な実施例の詳細な説明を読み、そして理解することで、当業者に明らかになるであろう。当業者には明らかなように、本発明は、種々の形態をとることができ、それについての種々の構成要素およびステップならびに装置を具えることができる。

したがって、本発明のこれらおよび他の態様は、以下の記載および図面に記載した実施例につき説明する内容から、および請求項から明らかになり、また図面は、本発明の好適な実施例を説明するためのものであり、本発明を限定するように解釈すべきではない。

本発明は、補正すべき画像をキャプチャする直前にキャプチャされる一連の画像シーケンスから抽出した動き情報によって、デジタルのモーションブラーの除去を支援することにある。

図１は、画像をキャプチャする際の時系列図１０を示してある。第１の水平軸１４（時間Ｔ）上のプレビューペイン１２においては、モーションブラーを補正すべき画像ｎの直前における、画像０からｎ−１がキャプチャされる（キャプチャステップ１１）。言い換えれば、例えば、ユーザが携帯カメラ装置を用いて写真を撮る際、その装置は、ユーザが実際に「撮影」作動ボタンを押す前に、携帯カメラ装置のビューファインダスクリーン上の、プレビュー用の一連の画像シーケンスを絶えず分析している。第１の水平軸１４上のプレビューペイン１２は、これらのプレビュー画像を示す。

プレビューペイン１２の画像シーケンスの間に、各画像から次の画像までの動きが分析され、この分析ステップ１３は、例えばカメラの動きをモデル化するグローバル動き推定技法に基づいて行う。このような分析は、画像の種々の領域の動きをもっと正確にモデル化する、動きフィールドの技法によって行うこともできる。

時系列図１０において、プレビューペイン１２の画像は、画像から画像へのグローバルな並進によって動きについて分析される。水平軸１６および１８には、並進ベクトルの水平成分ＨＣおよび垂直成分ＶＣの漸進的変化を、それぞれ曲線２０および２２のように示している。並進ベクトルの水平および垂直成分の漸進的変化は累積され、その結果生じる第１の画像からのオフセットを、画像の底部に２つの曲線で記す。１つの画像から次の画像までのグローバルな動き推定技法は、画像をブロックに細分し、各ピクセルブロックにブロックマッチングアルゴリズムを用いて、ブロックと同数の動きベクトルを生成することによって行うことができる。この場合、全てのブロックの動きベクトルにメジアンフィルタ用いて、グローバルな動きベクトルを抽出することができる。

さらに図１を参照するに、ひとたびユーザが画像をキャプチャし（期間１１）、写真を撮影すると、画像キャプチャの開始２４および画像キャプチャの終了２６に関するタイミング情報が、システムによって「動き外挿器」２７に供給される。この「動き外挿器」２７によって行われる外挿は、分析ステップ１３と、画像キャプチャの開始２４および画像キャプチャの終了２６のタイミング情報とによって得られる情報を処理して、最終画像のキャプチャ開始２４と終了２６との間の時間間隔内にて、動きの推定をする。これを、水平軸１６および１８に破線曲線２８および３０として示してある。

時系列図１０に示した特定の実施例において、これにより、画像キャプチャの開始２４から終了２６までの並進を提供する動きベクトルの成分ｄｘ３２および動きベクトルの成分ｄｙ３４が得られることになる。このような外挿を実施するのに用いることができる技法は、ベクトルの各座標に対して、近似関数を計算して、プレビューシーケンスでの推定オフセットにおける誤差判定基準を最小にすることができる（例えば、一般的な線形最小二乗法）。この場合、関数の値は、画像キャプチャの開始２４および終了時点２６に計算され、それらの差が、外挿された動きベクトルの成分ｄｘ３２およびｄｙ３４となる。

次に、外挿した動き情報は、画像分析によって動きを随意絞り込む動きデブラー装置に供給される。これは、静止画像の分析に基づく従来の方法により得られるものよりも一層信頼度の高い動きモデルを生成する。さらに、この動きモデルは、キャプチャ画像に対する補正をパラメータ化するのに用いられ、これには既知のデコンボリューション技法を用いることができる。実施することができるデコンボリューションに設定する典型的なパラメータは、画像の単一画素におけるブラー効果を表す、点拡がり関数（ＰＳＦ：Point Spread Function）である。

図２は、本発明のモーションブラーの除去方法および装置の機能的な構成要素を示す図である。まず、イメージセンサ５０は、携帯装置によってキャプチャされ、かつセンサに合焦する光学画像を電気信号に変換する。前の画像の分析５２を行って、所望画像（５４）をキャプチャする。ビデオおよびデジタルカメラのような、今日の撮像システムおよび画像検出デバイスの大部分は、電荷結合デバイス（ＣＣＤ）のイメージセンサを使用している。ＣＣＤイメージセンサは、従来周知であるため、ここでは詳述しない。さらに、ＣＭＯＳ技術によって、画像検出およびデジタル信号の処理を同一チップ上にて統合させることができるため、画像検出デバイスは、その動作速度が速く、小型化し、安価になり、また電力消費も低くなる。

その後、動き推定器５６は、プレビュー画像の画像ピクセルＩＰを受け取り、全てのピクセルに対して推定した動きベクトルを供給する。すなわち、動き推定器５６は、キャプチャした画像のキャプチャ期間の前の、ｎ−1の画像／イメージフレームの動きを推定する。上述したように、いくつかの異なる精巧な動き推定技法、つまり、（１）画像の全ピクセルに対する動きベクトルの導出を可能にする、完全な画像全体にとってユニークな、並進やズーム回転値のようなパラメータの組を与えるグローバルな動きモデルによる推定技法、（２）ブロックの全ピクセルに対する動きベクトルの導出を可能にする、画像の各ブロックに対する並進のようなパラメータを供給する、ブロックに基づいた動きモデルによる推定技法、または（３）全ピクセルの推定動きを提供するピクセルフロー技法、を用いることができる。これら種々のタイプの動き推定技法間の差異は、動き推定器５６から、この動き推定器５６の結果を処理する機能モジュール、すなわち外挿器５８まで伝送すべき情報の量（プレビューの動きＭＰ）が異なる点にある。しかしながら、デバイスにてどの動き推定技法を実行しても、その結果は、各ピクセルに対する動きベクトルになる。

また、用いる精巧な動き推定技法に応じて、動き推定のパフォーマンスを改善することができる。このような改善は、例えば、上述した一般的な方法に加えて、高速なサーチアルゴリズムまたは効率的な計算スキームを含むことができる。このような方法は、エンコーディング技術では周知である。

したがって、動き推定器５６は、動き外挿器５８に、プレビュー画像の動き推定情報ＭＰを供給する。動き外挿器５８は、次に、キャプチャモジュール６０によって供給される、画像キャプチャの開始２４および画像キャプチャの終了２６のタイミング（図１）に関するタイミング情報Ｔと共に、動き推定情報を処理する。それから、動き外挿器５８は、外挿した動き情報ＥＭＩを画像デブラーモジュール６２に供給する。画像デブラーモジュール６２は、外挿した動き情報を用いて、キャプチャ画像の情報（つまり画像ピクセルＩＭＰ）を分析および処理して、キャプチャ画像の動きを補償して、所望のデブラー画像（６４）を生成する。デブラー画像は、ディスプレイモジュール６４の出力にて利用できる。

さらに、本発明は、例えばＰＣ上のような、オフラインでの動き補償または復元用に実施することができる。このようなオフラインでの復元の場合は、動き推定情報またはデータを、動き復元または補正すべき画像に付加しなくてはならない。更に、本発明は、携帯カメラ装置に加えて、ビデオカメラ装置に一体化することもできる。携帯ビデオ装置の場合、特に記すべき特徴は、キャプチャ時間がフレーム期間によって制限されるため、動きの除去および補正をフレームごとに適用して、修正するフレームの前にキャプチャされるいくつかのフレームのスライドウインドウから動き分析をすることができることである。また、本発明の方法および装置は、種々の携帯または小型の持ち運び可能な装置に組み込むことができる。すなわち、本発明の方法および装置は、デジタルカメラ、カメラセンサを有するＵＳＢキー、カメラセンサを有する携帯電話、ビデオカメラなど、これらのタイプの人気の消費者向け装置に統合される、画像処理用のあらゆるタイプの集積回路を含むものに組み込むことができる。

以上、本発明の好適な実施例として考えられるものを例示して説明したが、当業者であれば、本発明の範囲から逸脱することなく、種々の他の変形を施し、同等物を代用することができる。

また、本願明細書に記載した発明の重要な概念から逸脱することなく、特定の状況を本発明の教示に適合させるために多くの修正を施すことができる。さらに、本発明の実施形態は、上記した特徴の全てを含むものではないようにすることもできる。したがって、本発明は、開示した特定の実施例に限定されるものではなく、本発明は、請求項およびそれらの同等物の範囲に入る全ての実施例を含むものである。

本発明の実施形態によるモーションブラー除去のための改良した方法の実施態様の１つを概略的に示す図である。 図１の方法を使用する装置の概略的機能ブロック図である。

Claims (15)

1. 動き補正の対象となるデジタル画像のモーションブラー効果を除去する方法において、当該方法が、
   − デジタル画像をキャプチャする直前にキャプチャされる一連の画像シーケンスから動き情報を抽出するステップと、
   − デジタル画像のキャプチャ開始時点および終了時点のタイミング情報を抽出するステップと、
   − 抽出した動き情報およびタイミング情報を用いて、動き推定技法に基づいて画像対画像の分析を行うことによって、画像シーケンスに対して推定される、推定動き情報を生成するステップと、
   − 推定動き情報を用いて、デジタル画像のキャプチャ開始時点と終了時点との間の時間間隔内にてデジタル画像の動き情報を外挿するステップと、
   − 外挿した動き情報を用いてデジタル画像の動きを補償することによって、デジタル画像のモーションブラー効果を除去するステップと、
   を含むモーションブラー効果除去方法。
2. 前記推定動き情報を生成するステップは、画像の全てのピクセル、または画像のピクセルブロックに対する推定動きベクトルを供給するステップを含む、請求項１に記載のモーションブラー効果除去方法。
3. 前記推定動き情報を生成するステップは、グローバル動き推定モデルを用いて推定される動きベクトルを供給するステップを含む、請求項２に記載のモーションブラー効果除去方法。
4. グローバル動き推定モデルを用いて、画像シーケンスにおける１つの画像からから次の画像の推定動きベクトルを供給するステップは、画像をブロックに細分するステップと、各ブロックにブロックマッチングアルゴリズムを用いるステップと、ブロックと同数の動きブロックベクトルを生成するステップとを含む、請求項３に記載のモーションブラー効果除去方法。
5. ブロックの動きベクトルにメジアンフィルタを用いるステップと、メジアンフィルタからグローバル動きベクトルを抽出するステップとをさらに含む、請求項４に記載のモーションブラー効果除去方法。
6. 前記推定動き情報を生成するステップは、ブロックに基づく動きモデルを用いて推定動きベクトルを供給するステップを含む、請求項２に記載のモーションブラー効果除去方法。
7. 前記推定動き情報を生成するステップは、ピクセルフローモデルを用いて推定動きベクトルを供給するステップを含む、請求項２に記載のモーションブラー効果除去方法。
8. 前記推定動き情報を生成するステップは、動きの水平方向および垂直方向の並進に対応する動きベクトルを生成するステップを含む、請求項１〜７のいずれか一項に記載のモーションブラー効果除去方法。
9. 前記推定動き情報を生成するステップは、動きの回転並進に対応する動きベクトルを生成するステップを含む、請求項１〜８のいずれか一項に記載のモーションブラー効果除去方法。
10. 前記推定動き情報を生成するステップは、各動きベクトルに対して、時間の近似関数を計算するステップと、画像シーケンスの推定されたオフセットにて誤差基準を最小化するステップとを含む、請求項２〜９のいずれか一項に記載のモーションブラー効果除去方法。
11. 動き補正の対象となるデジタル画像のモーションブラー効果を除去するように構成した装置であって、当該装置が、
    − デジタル画像をキャプチャする直前にキャプチャされる一連の画像シーケンスから動き情報を抽出するように適合させたイメージセンサと、
    − 画像キャプチャの開始時点および終了時点のタイミング情報を抽出するように適合させたキャプチャモジュールと、
    − 抽出した動き情報およびタイミング情報を用いて、動き推定技法に基づいて画像対画像の分析を行うことによって、画像シーケンスに対して推定される、推定動き情報を生成するように適合させた動き推定器と、
    − 推定動き情報を用いて、デジタル画像のキャプチャ開始時点と終了時点との間の時間間隔内にてデジタル画像の動き情報を推定するように適合させた動き外挿器と、
    − 外挿した動き情報を用いて、デジタル画像の動きを補正することによって、デジタル画像のモーションブラー効果を除去するように構成した動きデブラーモジュールと、
    を具えるモーションブラー効果除去装置。
12. 前記動き推定器は、グローバル動き推定モデルを用いて画像の全てのピクセルに対する推定動きベクトルを供給する、請求項１１に記載の装置。
13. 前記動き推定器は、ブロックに基づく動きモデルを用いて推定動きベクトルを供給する、請求項１１に記載の装置。
14. 前記動き推定器は、ピクセルフローモデルを用いて推定動きベクトルを供給する、請求項１１に記載の装置。
15. 請求項１１〜１４のいずれか一項に記載の装置に関連するコンピュータ読み取り可能な媒体であって、当該媒体は一連の命令を格納し、前記装置のマイクロプロセッサにより実行されると、これにより当該プロセッサは、
    デジタル画像をキャプチャする直前にキャプチャされる一連の画像シーケンスから動き情報を抽出するステップと、
    画像キャプチャの開始時点および終了時点のタイミング情報を抽出するステップと、
    抽出した動き情報およびタイミング情報を用いて、動き推定技法に基づいて画像対画像の分析を行うことによって、画像シーケンスに対して推定される、推定動き情報を生成するステップと、
    推定動き情報を用いて、デジタル画像のキャプチャ開始時点と終了時点との間の時間間隔内にてデジタル画像の動き情報を外挿するステップと、
    外挿した動き情報を用いて、デジタル画像の動きを補償することによって、デジタル画像のモーションブラー効果を除去するステップと、
    を実行するコンピュータ読み取り可能媒体。

Images