JP5388072B2 - モーションブラー制御装置、方法、及びプログラム - Google Patents

モーションブラー制御装置、方法、及びプログラム Download PDF

Info

Publication number
JP5388072B2
JP5388072B2 JP2010550568A JP2010550568A JP5388072B2 JP 5388072 B2 JP5388072 B2 JP 5388072B2 JP 2010550568 A JP2010550568 A JP 2010550568A JP 2010550568 A JP2010550568 A JP 2010550568A JP 5388072 B2 JP5388072 B2 JP 5388072B2
Authority
JP
Japan
Prior art keywords
motion blur
frame
inter
blur
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010550568A
Other languages
English (en)
Other versions
JPWO2010093040A1 (ja
Inventor
憲二郎 三浦
賢治 ▲高▼橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shizuoka University NUC
Original Assignee
Shizuoka University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shizuoka University NUC filed Critical Shizuoka University NUC
Priority to JP2010550568A priority Critical patent/JP5388072B2/ja
Publication of JPWO2010093040A1 publication Critical patent/JPWO2010093040A1/ja
Application granted granted Critical
Publication of JP5388072B2 publication Critical patent/JP5388072B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G06T5/75—Unsharp masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Description

本発明は、動画像におけるモーションブラーを制御する装置、方法及びプログラムに関する。
近年集積化技術の進歩により、ビデオカメラは、小型化・低価格化が進んで一般に普及するようになり、様々な場所で使用されている。特に、小型のビデオカメラは、近年、災害時に素早く情報収集を行うために、人間が立ち入れない場所で被災者の探索を行うロボットや、上空から災害状況を確認する無人ヘリコプター、遠隔操作用のレスキューロボットなどにも搭載されている。
しかし、ビデオカメラが搭載されたロボットは、自身が振動したり、荒れた路面上や地震で障害物が散在する状況下で走行したりする。このため、ロボットに搭載されたカメラから送られてくる映像にはゆれが生じてしまう。
そのため、オペレータは、即座に状況判断をすることが困難になり、画面酔いして操作に影響が出る可能性がある。したがって、このような映像のゆれによる影響を抑えるためは、リアルタイムで動画像処理が行われ、映像のゆれが軽減される必要がある。
現在、デジタルカメラのために開発・研究されているゆれを軽減する手法は、電子式、光学式、イメージセンサーシフト式、レンズユニットスイング式などの手ぶれ補正機能があげられる。しかし、これらの補正機能は、カメラに搭載されるものであり、そのカメラで撮影した映像だけしか補正することができない。このため、必然的にカメラの大型化、高価格化を招いてしまう。
近年では、デジタルカメラの普及やパーソナルコンピュータ（ＰＣ）の発達により、一般の家庭用ＰＣでも動画像の処理などが簡単に行われ、汎用性を高めるために、ＰＣを利用した安定化処理が望まれる。しかしながら、動画像はデータ量が多く、それらを処理するにはＣＰＵ（Central Processing Unit）では負荷が大きいため、リアルタイムでの処理は難しい。
そこで、高速なグラフィック処理を目的としたグラフィックスハードウェアであるＧＰＵ（Graphics Processing Unit）を用いることが考えられる。ＧＰＵは、一般的なＰＣにも搭載され、並列処理による高速演算が可能である。ＧＰＵの処理性能、特に浮動小数点演算性能は、ＣＰＵに比べて１０倍以上の性能を示すものもある。
本発明者らによる、ＧＰＵを用いたぶれ補正技術として「ＧＰＵを用いたビデオ映像の安定化」が開示されている（非特許文献１参照）。非特許文献１に記載された技術は、アフィン変換を用いてグローバルモーションを推定する際に、ＢＦＧＳ法（準ニュートン法）のアルゴリズムを使用し、推定したグローバルモーションに基づいてビデオ映像の振動を補正する。また、ＢＦＧＳ法を用いたグローバルモーション推定の改良技術として、特願2008-162477号（平成20年6月20日出願）の特許出願を行っている。
藤澤、他２名、「ＧＰＵを用いたビデオ映像の安定化」、社団法人情報処理学会、情報処理学会論文誌Ｖｏｌ．４９、Ｎｏ．２、ｐ．１−８
しかしながら、グローバルモーションを推定してビデオ映像を補正しても、各フレーム内でのモーションブラーは残ってしまう。モーションブラーとは露光時間内のカメラの移動に基づいて発生する“にじみ”であり、１つのフレーム内での移動量に基づくものであるので、グローバルモーション補正によって除去することができない。
一般の動画像撮影に用いられているイメージセンサ（ＣＣＤ、ＣＭＯＳなど）では、フレーム間隔は一定であるものの、その中での露光時間（電荷蓄積時間）は撮影領域の明るさによって異なる。例えば、明るい場合は露光時間が短く、暗い場合は露光時間が長い。したがって、明るさに応じてフレームごとに露光時間が変化する。モーションブラー量は露光時間に依存するため、撮影領域が一定速度で動いていてもモーションブラー量は一定にはならない。
本発明は上記問題点を解決するものであり、グローバルモーション推定で算出された移動方向に基づいて、動画像における各フレームのモーションブラーの制御及び低減を高速且つ精度よく行う、モーションブラー制御技術を提供することを目的とする。
上記の目的を達成するために、本発明に係るモーションブラー制御装置は、所定時間間隔で取得された複数のフレーム画像の中の所定フレーム画像のモーションブラーを制御するモーションブラー制御装置であって、所定時間間隔で取得された複数のフレーム画像からフレーム間移動方向及びフレーム間移動量を算出するフレーム間移動算出手段と、前記フレーム間移動量を超えない範囲で設定されたブラー量と、前記フレーム間移動方向とに基づいて、前記複数のフレーム画像のうち前記所定フレーム画像のモーションブラーを補正して補正フレーム画像を生成するモーションブラー補正手段と、前記補正フレーム画像をモーションブラー評価関数により評価する評価手段と、を有し、前記モーションブラー評価関数が所定の条件を満たすように前記ブラー量を制御することを特徴とする。
また、本発明に係るモーションブラー制御方法は、所定時間間隔で取得された複数のフレーム画像の中の所定フレーム画像のモーションブラーを制御するモーションブラー制御方法であって、所定時間間隔で取得された複数のフレーム画像からフレーム間移動方向及びフレーム間移動量を算出するステップと、前記フレーム間移動量を超えない範囲で設定されたブラー量と、前記フレーム間移動方向とに基づいて、前記複数のフレーム画像のうち前記所定フレーム画像のモーションブラーを補正して補正フレーム画像を生成するステップと、前記補正フレーム画像をモーションブラー評価関数により評価するステップと、を有し、前記モーションブラー評価関数が所定の条件を満たすように前記ブラー量を制御することを特徴とする。
また、本発明に係るモーションブラー制御プログラムは、 所定時間間隔で取得された複数のフレーム画像の中の所定フレーム画像のモーションブラーを制御するモーションブラー制御プログラムであって、コンピュータを、所定時間間隔で取得された複数のフレーム画像からフレーム間移動方向及びフレーム間移動量を算出するフレーム間移動算出手段、前記フレーム間移動量を超えない範囲で設定されたブラー量と、前記フレーム間移動方向とに基づいて、前記複数のフレーム画像のうち前記所定フレーム画像のモーションブラーを補正して補正フレーム画像を生成するモーションブラー補正手段、及び前記補正フレーム画像をモーションブラー評価関数により評価する評価手段として機能させ、前記モーションブラー評価関数が所定の条件を満たすように前記ブラー量を制御することを特徴とするモーションブラー制御プログラムである。
本発明に係るモーションブラー補正手段は、前記フレーム間移動量を超えない範囲で設定されたブラー量と、前記フレーム間移動方向とに基づいて、アンシャープマスクを設定するアンシャープマスク設定手段と、前記アンシャープマスクに基づいて、前記所定フレーム画像のモーションブラーを補正して補正フレーム画像を生成するアンシャープ処理手段と、を有するようにすることができる。
本発明に係るモーションブラー補正手段は、前記フレーム間移動量を超えない範囲で設定されたブラー量と、前記フレーム間移動方向とに基づいて、逆畳み込み演算を行うことにより前記所定フレーム画像のモーションブラーを補正して補正フレーム画像を生成するようにすることができる。
本発明に係るフレーム間移動算出手段は、平行移動量と回転移動量とを含んだアフィン変換パラメータに基づいて、前記複数のフレーム画像間のグローバルモーションを推定して、前記フレーム間移動方向と前記フレーム間移動量とを算出するようにすることができる。
上記のアフィン変換パラメータは、画像の倍率を更に含むようにすることができる。
本発明に係る複数のフレーム画像を、動画像を構成するフレーム画像とすることができる。
本発明では、モーションブラー評価関数が前記所定の条件を満たすまで、前記ブラー量を変化させて、前記モーションブラー補正手段による補正と前記評価手段による評価とを繰り返して、前記所定フレーム画像のモーションブラーを低減するようにすることができる。また、本発明では、モーションブラー評価関数が最大値または最小値になるまで前記モーションブラー補正手段による補正と前記評価手段による評価とを繰り返すようにすることができる。
本発明に係るモーションブラー評価関数Ｅは、以下の式で与えられるようにすることができる。
ただし、I(x,y)は評価対象画像の座標（x,y）の画素値である。
本発明は上記構成により、モーションブラーの制御及び低減を高速且つ精度良く行なうことができる。本発明者の従来技術であるグローバルモーション推定技術により、フレーム間の移動方向（平行移動、回転移動）を算出することができる。本発明は、このフレーム間移動方向を用いることによりフレーム内でのモーションブラーの方向が推定でき、この情報を用いることでフレーム内でのモーションブラーの制御を効率よく行うことができる。
グローバルモーション推定技術ではフレーム間移動量も算出できるが、１フレーム内でのモーションブラーは１フレームの露光時間によって決まるため、フレーム間移動量と１フレーム内のモーションブラー量とには相関性が少ない。したがって、モーションブラー評価関数が所定の条件を満たすまで、フレーム間移動量を超えない範囲で設定されたブラー量を変化させて、モーションブラー補正と、モーションブラー評価関数による評価とを繰り返して、最適なモーションブラー量を求める必要がある。
グローバルモーション推定ではフレーム間の移動方向が推定できるので、フレームとフレームの間の軌跡は直線状または曲線状で与えられる。したがって、ブラー量（移動距離）Ｌは１次元量になる。このブラー量Ｌの最適値を求めて、元のフレーム画像を、畳み込み演算やアンシャープマスクを用いて補正することにより、モーションブラーを低減する演算を高速に行うことができる。
本発明における前記複数のフレーム画像の間の時間間隔は任意であるが、動画像における隣接フレームであることが好ましい。ただし本発明は動画像に限らず、所定の時間間隔で撮像された複数のフレーム画像であれば適用できる。例えば、デジタルカメラなどで１回のシャッタ操作に対して複数のフレーム画像を取得して、モーションブラーを低減することもできる。
なお、本発明に係るプログラムは、コンピュータ読み取り可能な記録媒体に格納して提供することもできる。
本発明は上記構成により、グローバルモーション推定で算出された移動方向に基づいて、動画像における各フレームのモーションブラーの制御及び低減を高速且つ精度よく行うことができる。
本発明の実施形態に係る画像補正装置のブロック図である。 アンシャープマスクの説明図である。 ９ピクセルでのアンシャープマスクの例を示す図である。 ９ピクセルでのアンシャープマスクの例を示す図である。 アンシャープマスクのカーネルＨの例を示す図である。 フレーム間のグローバルモーション推定の説明図である。 フレーム間のグローバルモーション推定の説明図である。 Xiaolin Wuのアルゴリズムによる直線描画の例を示す図である。 モーションブラー除去のフローチャートである。 モーションブラー除去結果（左図：除去前、右図：除去後）を示す図である。 逆畳み込み演算によるブラー除去結果を示す図である。
以下、本発明の好ましい実施の形態について図面を参照しながら詳細に説明する。
＜装置の構成＞
図１は、本発明の実施の形態に係る画像補正装置の構成を示すブロック図である。画像補正装置は、被写体を撮像して画像を生成するカメラ１０と、カメラ１０で生成された画像のぶれをなくすように画像処理を行う画像処理装置２０と、を備えている。
画像処理装置２０は、カメラ１０との間で信号のやりとりを行う入出力ポート２１と、演算処理を行う演算処理回路２２と、画像やその他のデータを記憶するハードディスクドライブ２３と、演算処理回路２２の制御プログラムを記憶するＲＯＭ（Read Only Memory）２４と、データのワークエリアであるＲＡＭ（Random Access Memory）２５と、を備えている。
演算処理回路２２は、入出力ポート２１を介して、カメラ１０からの動画像を受信すると、動画像を構成する各フレーム画像から１フレーム毎にカメラ１０の移動方向及び移動量（グローバルモーション）を求める。演算処理回路２２は、フレーム間のグローバルモーションに基づいて各フレーム画像の振動補正を行うとともに、フレーム間移動方向に基づいてモーションブラーを制御・除去する。
なお、本実施形態における、評価関数の計算、逆畳み込み演算、アンシャープマスク作成などの計算は並列演算に適しており、演算の一部をＧＰＵ（グラフィック・プロセッサ）で演算することにより高速化することができる。
＜モーションブラー除去＞
画像内のモーションブラーを除去する手法としては、フーリエ変換を使用した逆畳み込み演算や、アンシャープマスクなどを使用した先鋭化などがある。いずれの手法も、露光時間中のカメラの動きを知ることによってモーションブラーを除去する。
以下にそれらの詳細について説明する。
＜逆畳み込み演算＞
g(x)をブラー付加画像、f(x)をブラー除去画像、h(x)をPSF(Point Spread Function)とすると、ブラーのない画像から得られるブラー付加画像は
と表せ、畳み込み演算によりブラー付加画像が生成できることがわかる。なお、★は畳み込み演算子である。
ここで、ブラー付加画像g(x)の離散フーリエ変換をG(u)、ブラー除去画像f(x)の離散フーリエ変換をF(u)、PSF(Point Spread Function)h(x)の離散フーリエ変換をH(u)、とすると、フーリエの畳み込みの定理から、ブラーのない画像から得られるブラー付加画像は
と表すことができる。逆に、ブラー付加画像からブラーのない画像を得るブラー除去は、
と表すことができ、これをDeconvolutionという。
但し、この式では、分母であるH(u)が0になる可能性があるため、計算が行えない場合があり、また、PSFを推定する必要がある。分母が0になる場合の対策及びPSF推定についてはあとで説明する。
ここでは、Deconvolutionの計算手法の例として、４手法を紹介する。
（１）Deconvolution
もっとも単純な手法としては、Aを任意の定数として分母が0になる場合は条件分岐を行い、以下の式を用いる。
計算式が簡単で、比較的高速に計算できるが、Aを任意の定数としており、計算が不正確である可能性がある。
（２）Wiener filter
Wiener filterとは、分母に非常に小さい値を入れて分母が0になることを回避する手法である。適切な定数Γ(ノイズ)を用いて、以下の式で計算する。
ここで、H(u)バー（Hの上にバーがあるもの）は、H(u)を複素共役したものである。Wiener filterは計算式が簡単で、比較的高速に計算できるが、ノイズΓを一定と仮定しており、計算が不安定となる可能性がある。
（３）Richardson-Lucy Deconvolution
Richardson-Lucy Deconvolutionは、ベイズの定理を用い、以下の式で計算する。
フーリエ空間での除算がなく、安定した解を得られるが、計算速度は非常に遅い。また、実空間で真っ暗な部分は分母が0をとりうる。
なお、Richardson-Lucy Deconvolutionについては、「W.H.RICHARDSON, “Bayesian-Based Iterative Method of Image Restoration" J.Opt.Soc.Am., Vol.62, pp.55-59 ,1972.」及び「Lucy,L.B.,"An iterative technique for the rectication of observed distributions" Astronomical Journal, Vol.79, pp.745-754,1974.」に記載されている。
（４）Iterative Back Projection
Iterative Back Projectionは、計算式内から除算を排除し、以下の式を用いる。
この式には除算がなく、安定した解を得られるが、計算速度は非常に遅い。なお、(0<α<1)である。Iterative Back Projectionについては「Irani, Peleg, "Improving Resolution by Image Registration" CVGIP : Graphical Models and Image Processing, Vol.53,pp.231-239, 1991.」に記載されている。
＜アンシャープマスク＞
アンシャープマスクは図２のように、元映像とアンシャープ(平滑化した)な画像との差分を求める先鋭化フィルタである。例として、周辺9ピクセルを利用したアンシャープマスクを図３Ａ、図３Ｂに示した。
本実施形態では、アンシャープに方向性をつけて、図３Ｂに示すようにすることで、モーションブラー方向に対応した先鋭化を行うようにしている。
＜PSF、アンシャープマスク推定＞
モーションブラーを除去のためには、逆畳み込み演算に使用するPSFや、アンシャープマスクに使用する平滑化画像を、最適に作成する必要がある。
PSF、もしくはアンシャープマスクに使用するマスクを、カーネルHとすると、カーネルは例えば図４に示したものとなる。
カーネルを推定するために、後述の反復推定が必要となるが、ここでは反復推定の高速化のため、後述のグローバルモーションによる拘束を行う。
＜グローバルモーションを用いたカーネル推定＞
すでに求められているグローバルモーションから、カメラの移動方向を直線、または、曲線であるものと仮定し、カメラの移動距離（ブラー量）Ｌについての１変数のみの反復推定を行うことで、高速化、高精度化を図る。カーネルＨ(図４)において、カメラの移動距離Ｌは白線の長さとなる。
グローバルモーションから、カメラの移動方向を直線、または、曲線であるものと仮定するために、動画において、ひとつ前のフレーム画像をIn-1、現在のフレーム画像をIn、ひとつ後のフレーム画像をIn+1として、In-1とIn間のモーションを推定すると共に、InとIn+1間のモーションを推定する。この二つのモーションから、Inのときの動きが推定でき、これにより全ピクセルにおいて独立して現在のフレーム画像Inでのブラー方向が推定できる。（図５及び図６参照）
上述のカメラの移動方向を示す線（直線、曲線）の作成には，アンチエイリアシングが行えるXiaolin Wuのアルゴリズムを用いている。有限の大きさの画素を有する画像上に線を作成すると、画素の大きさに起因したギザギザ（ジャギー）が発生してしまう。このジャギーによる影響を低減するために、線の周辺のギザギザ（ジャギー）部分に位置する画素の値を、線の中心からの距離に応じた中間階調にする。これを、「アンチエイリアシング」という（図７参照）。これを行うことにより、画素の大きさ以下の演算に関してもスムーズに演算を行うことができる。詳細については、非特許文献（“Abrash, Michael (June 1992). ”Fast Antialiasing (Column)”. Dr. Dobb’s Journal 17 (6): 139(7)“、”Wu, Xiaolin (July 1991). ”An efficient antialiasing technique”. Computer Graphics 25 (4): 143-152.doi:10.1145/127719.122734. ISBN 0-89791-436-8.“、”Wu, Xiaolin (1991). ”Fast Anti-Aliased Circle Generation”. in James Arvo (Ed.). Graphics Gems II.San Francisco: Morgan Kaufmann. pp. 446-450. ISBN 0-12-064480-0.“）に記載されている。
＜反復推定によるカーネル作成＞
n番目のフレーム画像の元の画像をIn(x,y)とする。ここで、In(x,y)は、フレーム画像中のx,y座標における画素値（輝度値等）である。これに、ブラー量（移動距離）Lnに応じた上述の畳み込み演算やアンシャープマスクを行うことにより、補正フレーム画像I’n(x,y,Ln)を生成し、以下の（１）式で表されるモーションブラー評価関数Ｅにより評価を行う。

・・・（１）
このモーションブラー評価関数Ｅは、評価対象画像I(x,y)について、ある画素のX方向及びY方向の３階差分を計算し、これを画像全体にわたって積算するものであり、画像の鮮鋭度を表す関数である。wとhは、それぞれ評価対象画像のモーションブラー評価範囲の幅および高さ（ピクセル数）である。モーションブラー評価範囲を、画像全体としてもよいし、画像の一部のみとしてもよい。
補正フレーム画像I’n(x,y,Ln)を評価対象画像Iとして、ブラー量Lnを変化させながら、Ｅを最大化させるようなブラー量Lnを反復推定して求めると、最終的に最適なLnを求めることができる。ブラー量Lnは、フレーム間隔時間が１になるように正規化されており、０〜１の範囲で反復推定される。なお、ブラー量Lnの反復推定は、Ｅが最大値になるまで続ける必要はなく、適当な条件を満たしたところで繰り返しを止めても良い。特に、アンシャープマスクについては、逆畳み込み演算のPSFほどの正確さが要求されないため、少ない反復回数でも良い。
上記の（１）式の評価関数は、掛け算と引き算のみで構成されているので、比較的高速に演算可能である。
ここで反復推定には、１変数で且つ探索の範囲制限を行えるBrent法を用いた。Brent法については「"Numerical Recipes in C++", Cambridge University Press, W.H.Press,S.A.Teukolsky and W. T. Vetterling and B. P.Flannery,2002」に記載されている。
なお、上記（１）式の評価関数は、評価対象を動画に限らない。また、グローバルモーションを使用した探索範囲の限定を行わなくても、上記（１）式の評価関数を、単独で探索に用いることもできる。
＜全体の処理フロー＞
全体のフロー図を図８に示す。
まずは、上記の非特許文献１や特願2008-162477号に記載された方法で、動画像のフレーム間の「グローバルモーション推定」を行い、フレーム間の移動量及び移動方向に基づいて「振動補正」を行う。
その後、振動補正によって周辺部に生じる未定義領域に対して、「モザイキング」によりフレーム間の補間を行う。
さらにその後、本発明の特徴である「モーションブラー除去」を行う。
モーションブラー除去のフロー図を図９に示す。
「Ｌの初期値を設定」では、最初にブラー量Ｌ（＝０〜１）の初期値を設定する。Ｌは、フレーム間の移動量に対するモーションブラー量の割合であり、（１フレームの露光時間）／（フレーム間時間）に相当する。設定する初期値は特に限定されないが、露光時間はフレームごとに大きく変化しないので、１つ前のフレームのモーションブラー除去で求めたＬを初期値として用いると良い。
「モーションブラー除去」では、上述の逆畳み込み演算やアンシャープマスクを用いて、ブラー量Ｌに相当するモーションブラーを除去する。
「評価関数によりＥを計算」では、上記（１）式によりモーションブラー除去の評価値であるＥを計算する。
「Ｅが最大値」になるまで、「Ｌを変更」しながら、「モーションブラー除去」、「評価関数によりＥを計算」を繰り返す。なお、Ｅが最大値になるまで計算を繰り返す必要はなく、適当な条件を満たした段階で演算を止めても良い。
逆畳み込み演算によるブラー除去結果を図１０に示す。図１０左図はモーションブラー除去前の画像であり、図１０右図はモーションブラー除去後の画像である。
＜変形例＞
上記の実施形態では、ブラー量Ｌの最適値を求めて、モーションブラーを低減・除去する実施形態について説明したが、これに限定されるものではない。用途によってはモーションブラーを少し残しておいた方が良いことがあるので、ブラー量Ｌを最適値からずらした値に設定しても良い。その場合には、モーションブラー評価関数Ｅを用いて、Ｅが最大値から所定割合ずれた値になるブラー量Ｌを求める。動きを強調するためにあえてモーションブラーを付与するような場合に用いることができる。
１０：カメラ、 ２０：画像処理装置、 ２１：入出力ポート、 ２２：演算処理回路、 ２３：ＨＤＤ、 ２４：ＲＯＭ、 ２５：ＲＡＭ

Claims (11)

  1. 所定時間間隔で取得された複数のフレーム画像の中の所定フレーム画像のモーションブラーを制御するモーションブラー制御装置であって、
    所定時間間隔で取得された複数のフレーム画像からフレーム間移動方向及びフレーム間移動量を算出するフレーム間移動算出手段と、
    前記フレーム間移動量を超えない範囲で設定されたブラー量と、前記フレーム間移動方向とに基づいて、前記複数のフレーム画像のうち前記所定フレーム画像のモーションブラーを補正して補正フレーム画像を生成するモーションブラー補正手段と、
    前記補正フレーム画像をモーションブラー評価関数により評価する評価手段と、を有し、
    前記モーションブラー評価関数が所定の条件を満たすように前記ブラー量を制御する、
    ことを特徴とするモーションブラー制御装置。
  2. 前記モーションブラー補正手段は、
    前記フレーム間移動量を超えない範囲で設定されたブラー量と、前記フレーム間移動方向とに基づいて、アンシャープマスクを設定するアンシャープマスク設定手段と、
    前記アンシャープマスクに基づいて、前記所定フレーム画像のモーションブラーを補正して補正フレーム画像を生成するアンシャープ処理手段と、を有する
    ことを特徴とする請求項１記載のモーションブラー制御装置。
  3. 前記モーションブラー補正手段は、
    前記フレーム間移動量を超えない範囲で設定されたブラー量と、前記フレーム間移動方向とに基づいて、逆畳み込み演算を行うことにより前記所定フレーム画像のモーションブラーを補正して補正フレーム画像を生成する、
    ことを特徴とする請求項１記載のモーションブラー制御装置。
  4. 前記フレーム間移動算出手段は、平行移動量と回転移動量とを含んだアフィン変換パラメータに基づいて、前記複数のフレーム画像間のグローバルモーションを推定して、前記フレーム間移動方向と前記フレーム間移動量とを算出する、
    ことを特徴とする請求項１〜３いずれか記載のモーションブラー制御装置。
  5. 前記アフィン変換パラメータは、画像の倍率を更に含んでいる、
    ことを特徴とする請求項４記載のモーションブラー制御装置。
  6. 前記複数のフレーム画像は、動画像を構成するフレーム画像である、
    ことを特徴とする請求項１〜５いずれか記載のモーションブラー制御装置。
  7. 前記モーションブラー評価関数が前記所定の条件を満たすまで、前記ブラー量を変化させて、前記モーションブラー補正手段による補正と前記評価手段による評価とを繰り返して、前記所定フレーム画像のモーションブラーを低減する、
    ことを特徴とする請求項１〜６いずれか記載のモーションブラー制御装置。
  8. 前記モーションブラー評価関数が最大値または最小値になるまで前記モーションブラー補正手段による補正と前記評価手段による評価とを繰り返す、
    ことを特徴とする請求項７記載のモーションブラー制御装置。
  9. 前記モーションブラー評価関数Ｅは、以下の式で与えられる、
    ことを特徴とする請求項１〜８のいずれか１項記載のモーションブラー制御装置。

    ただし、I(x,y)は評価対象画像の座標（x,y）の画素値である。
  10. 所定時間間隔で取得された複数のフレーム画像の中の所定フレーム画像のモーションブラーを制御するモーションブラー制御方法であって、
    所定時間間隔で取得された複数のフレーム画像からフレーム間移動方向及びフレーム間移動量を算出するステップと、
    前記フレーム間移動量を超えない範囲で設定されたブラー量と、前記フレーム間移動方向とに基づいて、前記複数のフレーム画像のうち前記所定フレーム画像のモーションブラーを補正して補正フレーム画像を生成するステップと、
    前記補正フレーム画像をモーションブラー評価関数により評価するステップと、を有し、
    前記モーションブラー評価関数が所定の条件を満たすように前記ブラー量を制御する、
    ことを特徴とするモーションブラー制御方法。
  11. 所定時間間隔で取得された複数のフレーム画像の中の所定フレーム画像のモーションブラーを制御するモーションブラー制御プログラムであって、
    コンピュータを、
    所定時間間隔で取得された複数のフレーム画像からフレーム間移動方向及びフレーム間移動量を算出するフレーム間移動算出手段、
    前記フレーム間移動量を超えない範囲で設定されたブラー量と、前記フレーム間移動方向とに基づいて、前記複数のフレーム画像のうち前記所定フレーム画像のモーションブラーを補正して補正フレーム画像を生成するモーションブラー補正手段、及び
    前記補正フレーム画像をモーションブラー評価関数により評価する評価手段
    として機能させ、
    前記モーションブラー評価関数が所定の条件を満たすように前記ブラー量を制御する、
    ことを特徴とするモーションブラー制御プログラム。
JP2010550568A 2009-02-13 2010-02-15 モーションブラー制御装置、方法、及びプログラム Expired - Fee Related JP5388072B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010550568A JP5388072B2 (ja) 2009-02-13 2010-02-15 モーションブラー制御装置、方法、及びプログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009031418 2009-02-13
JP2009031418 2009-02-13
PCT/JP2010/052209 WO2010093040A1 (ja) 2009-02-13 2010-02-15 モーションブラー制御装置、方法、及びプログラム
JP2010550568A JP5388072B2 (ja) 2009-02-13 2010-02-15 モーションブラー制御装置、方法、及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2010093040A1 JPWO2010093040A1 (ja) 2012-08-16
JP5388072B2 true JP5388072B2 (ja) 2014-01-15

Family

ID=42561881

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010550568A Expired - Fee Related JP5388072B2 (ja) 2009-02-13 2010-02-15 モーションブラー制御装置、方法、及びプログラム

Country Status (3)

Country Link
US (1) US8620100B2 (ja)
JP (1) JP5388072B2 (ja)
WO (1) WO2010093040A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102328029B1 (ko) * 2021-06-02 2021-11-17 아주대학교산학협력단 블러 이미지 처리 방법 및 장치

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8428390B2 (en) * 2010-06-14 2013-04-23 Microsoft Corporation Generating sharp images, panoramas, and videos from motion-blurred videos
US9036936B2 (en) * 2011-06-20 2015-05-19 Fujifilm Corporation Image processing device, image processing method, and image processing program
KR101804215B1 (ko) * 2012-03-06 2017-12-05 삼성전자주식회사 강건하게 비균일 모션 블러를 추정하는 방법 및 장치
CN104580879B (zh) * 2013-10-09 2018-01-12 佳能株式会社 图像处理设备、图像拾取设备以及图像处理方法
CN113992848A (zh) * 2019-04-22 2022-01-28 深圳市商汤科技有限公司 视频图像处理方法及装置
WO2021039842A1 (ja) * 2019-08-28 2021-03-04 株式会社朋栄 映像の安定化及びモーションブラー除去処理方法とその装置
WO2021106499A1 (ja) * 2019-11-29 2021-06-03 株式会社朋栄 ローリングシャッター映像の安定化及びモーションブラー除去処理方法とその装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007183842A (ja) * 2006-01-10 2007-07-19 Tokyo Institute Of Technology 画像復元フィルタ及びそれを用いた画像復元方法
JP2007305113A (ja) * 2006-04-11 2007-11-22 Matsushita Electric Ind Co Ltd 画像処理方法および画像処理装置
WO2009019848A1 (ja) * 2007-08-03 2009-02-12 Panasonic Corporation 撮影装置、撮影方法、およびプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6847406B2 (en) * 2000-12-06 2005-01-25 Koninklijke Philips Electronics N.V. High quality, cost-effective film-to-video converter for high definition television
US8233710B2 (en) * 2005-07-14 2012-07-31 Nikon Corporation Image processing device and image processing method
US7957610B2 (en) 2006-04-11 2011-06-07 Panasonic Corporation Image processing method and image processing device for enhancing the resolution of a picture by using multiple input low-resolution pictures
JP5213670B2 (ja) * 2008-01-16 2013-06-19 三洋電機株式会社 撮像装置及びぶれ補正方法
JP4771186B2 (ja) 2008-06-20 2011-09-14 国立大学法人静岡大学 移動量抽出装置及びプログラム、画像補正装置及びプログラム並びに記録媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007183842A (ja) * 2006-01-10 2007-07-19 Tokyo Institute Of Technology 画像復元フィルタ及びそれを用いた画像復元方法
JP2007305113A (ja) * 2006-04-11 2007-11-22 Matsushita Electric Ind Co Ltd 画像処理方法および画像処理装置
WO2009019848A1 (ja) * 2007-08-03 2009-02-12 Panasonic Corporation 撮影装置、撮影方法、およびプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102328029B1 (ko) * 2021-06-02 2021-11-17 아주대학교산학협력단 블러 이미지 처리 방법 및 장치

Also Published As

Publication number Publication date
WO2010093040A1 (ja) 2010-08-19
JPWO2010093040A1 (ja) 2012-08-16
US20110299793A1 (en) 2011-12-08
US8620100B2 (en) 2013-12-31

Similar Documents

Publication Publication Date Title
JP5388072B2 (ja) モーションブラー制御装置、方法、及びプログラム
EP2574038B1 (en) Image capturing apparatus, image processing apparatus, image processing method, and image processing program
US10007990B2 (en) Generating composite images using estimated blur kernel size
JP5909540B2 (ja) 画像処理表示装置
JP5331816B2 (ja) 画像補正装置及び画像補正方法
JP4799428B2 (ja) 画像処理装置及び方法
US7643062B2 (en) Method and system for deblurring an image based on motion tracking
JP4342493B2 (ja) 手ぶれ補正装置
JP5204165B2 (ja) 画像復元装置および画像復元方法
US8698905B2 (en) Estimation of point spread functions from motion-blurred images
JP5499050B2 (ja) 画像処理装置、撮像装置、及び画像処理方法
JP4307430B2 (ja) 手ぶれ検出装置
JP2007188493A (ja) 動きボケ画像中の動きボケを減らす方法、それぞれが各自のボケ・パラメータを持つ複数の動きボケ画像を用いて動きボケの減らされた画像を生成する方法、動きボケ画像中の動きボケを減らす装置、およびそれぞれが各自のボケ・パラメータを持つ複数の動きボケ画像を用いて動きボケの減らされた画像を生成する装置
JP4958806B2 (ja) ぶれ検出装置、ぶれ補正装置及び撮像装置
JP5184574B2 (ja) 撮像装置、画像処理装置、および画像処理方法
JP2009088935A (ja) 画像記録装置、画像補正装置及び撮像装置
JP2007179211A (ja) 画像処理装置、画像処理方法、およびそのプログラム
JP2012085205A (ja) 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
Albu et al. Adaptive recovery of motion blur point spread function from differently exposed images
US20240169498A1 (en) Joint Video Stabilization and Motion Deblurring
JP2007116332A (ja) 画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130910

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131001

R150 Certificate of patent or registration of utility model

Ref document number: 5388072

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees