JP4527152B2

JP4527152B2 - カメラのモーションブラー関数を決定する手段を有するデジタルイメージ取得システム

Info

Publication number: JP4527152B2
Application number: JP2007539482A
Authority: JP
Inventors: スタインバーグ，エラン; コーコラン，ピーター; プリルツキー，ユーリ
Original assignee: Fotonation Vision Ltd
Current assignee: Fotonation Vision Ltd
Priority date: 2004-11-10
Filing date: 2005-10-11
Publication date: 2010-08-18
Anticipated expiration: 2025-10-11
Also published as: ATE383626T1; WO2006050782A1; DE602005004299T2; DE602005004299D1; JP2008520117A; EP1779322A1; EP1779322B1

Description

本発明は、取り込まれたデジタルイメージ中のカメラのモーションブラー関数を決定するデジタル処理部を備えるデジタルイメージ取得システムに関する。

カメラの動きは、いくつかのパラメーターに依存する。第１には、露出時間である。シャッターが長く開いているほど、カメラの動きは、認識されることとなる。第２には、カメラの焦点距離である。レンズが長いほど、カメラの動きは顕著に認識されることとなる。35mmのフィルムを用いて撮影するアマチュア・カメラマンの一般則は、焦点距離以上に、露光時間を超過しないことである。その結果、30mmのレンズのために、l/30秒より遅く撮影しないようにする。第３の基準は、被写体自体である。単調なエリアあるいは低周波データは、高周波データと同様に劣化させる。

歴史上、その問題は、三脚か一脚の使用によりカメラをしっかり固定するか、レンズかカメラ本体中のジャイロ・スタビライザーを使用してそれを安定させるか、あるいは、カメラの動きを打ち消す撮像面の移動により対処されてきた。

数学上、モーションブラー（motion blur）は、対象物中の各ポイントに点像分布関数(すなわちPSF)を適用することにより説明することが可能である。このPSFは、露出積分時間中の、カメラの経路を表わす。モーションPSFは、移動経路、移動速度(それは積分時間を決定する)、あるいは、各ポイントの蓄積されたエネルギーの関数である。

そのようなPSFの仮想例を、図3A及び図3Bに示す。図3Bは、図3Aの投影図である。図3A及び図3Bの中で、PSFは、410と442としてそれぞれ描かれている。Ｘ軸方向及びＹ軸方向のピクセル変位は、Ｘ軸方向に関してはそれぞれブロック420と421、及び、Ｙ軸方向に関してはそれぞれブロック430と432によって描かれる。

エネルギー440は、図3Aの第３の次元である。エネルギーが、各ポイントでの微分速度の逆数であること、または、エネルギーが各ポイントで時間に比例することに注目する必要がある。いいかえれば、カメラが、所定の位置でより長く静止すればするほど、積分時間はより長くなり、したがって、エネルギーはより高く圧縮される。これは、X-Y投影図でのカーブ442の幅として描かれる。

視覚的に単純化されたやり方でイメージを参照する場合には、図3Cは、前述の図のPSFによりぶれたイメージ中のピンポイントの白色点に生じるものを図示する。図において、黒色の背景に囲まれたそのような光の点は、図3Cの1つと同様のイメージに帰着するだろう。

そのようなイメージの中で、444のように、カメラがより長く静止していた領域は、その時間の数分の1だけカメラが静止していた領域より明るいだろう。したがって、そのようなイメージは、視覚的な速度計、あるいは視覚的な加速度計を提供することが可能である。さらに、合成の写真の環境の中で、単独の点についてのそのような知識において、デルタ関数は、PSFを定義可能なように当てはめられる。

I(x, y)によってあらわされた2次元イメージIと、移動点像分布関数MPSF(I)とを与えた場合には、劣化イメージI'(x, y)は、数学上、I(x, y)とMPSF(x, y)とのコンボリューションとして定義することが可能である。すなわち、

あるいは連続関数に対しては積分の形式で、

そして、デジタル化されたイメージのような離散関数に対しては、

一般の写真及び光学における別の有名なPSFは、デフォーカスによって生成され、ぶれている。相違は、モーションブラー除去がない場合には、対称的なガウスの移動不変式PSFによってデフォーカスを表すことが通常可能であるということである。モーションブラー除去が移動不変式でない理由は、イメージは移動するだけでなく、回転するかもしれないからである。したがって、モーションブラーの完全な説明は、次の変換に基づいた移動と回転を組み合わせるアファイン変換となる。

PSFは、システム同定のような、より一般的な分野の一部として経験的に得ることが可能である。線形系については、PSFは、システムの既知の入力に対する反応を得て、次に、関連する逆変換問題を解決することにより決定することが可能である。既知の入力は、光学系、デルタ関数δ(x)として連続的な世界に数学的に定義された点、ライン、エッジあるいはコーナーである。

PSFの一例は、「イメージとスペクトルのデコンボリューション（Deconvolution of Images and Spectra" 2nd. Edition, Academic Press, 1997, edited by Jannson, Peter A. and "Digital Image Restoration", Prentice Hall, 1977 authored by Andrews, H.C. and Hunt, B.R.）」のような、多くの書物で見つけることが可能である。

イメージのブラー除去の処理は、コンボリューションイメージとコンボリューションカーネルの間に分離する数学的な形式であるデコンボリューションの使用によりなされる。

しかしながら、「イメージとスペクトルのデコンボリューション（"Deconvolution of Images and Spectra" 2nd. Edition, Academic Press, 1997, edited by Jannson, Peter A.,）」の1章のような多くの出版物で次に議論されたように、デコンボリューションの問題は、解決不能か、悪条件問題か、不安定かの、いずれかである。

さらに、物理的な現実のシステムに関しては、解法を見つける試みも、ノイズまたはサンプリングがある状態では、悪化するかもしれない。ある人は、カーネルの知識なしに、または、PSFの場合においてデコンボリューション手段によって、復元を試み実行するかもしれない。そのような方法は、盲目的なデコンボリューションとして知られている。一般的な光学系に関するPSFについての演繹的な知識のない、そのような処理の結果は全く受け入れ可能ではなく、広範囲な計算を要求する。

盲目的なデコンボリューションに基づいた解法は、「自動的な多次元のデコンボリューション（"Automatic multidimensional deconvolution"J. Opt.Soc.Am.A, vol. 4(1), pp. 180-188, Jan. 1987 to Lane et al,）」や、「盲目的なデコンボリューションおよび位相回復用のゼロ・シートのいくつかの含意（"Some Implications of Zero Sheets for Blind Deconvolution and Phase Retrieval", J. Optical Soc.Am.A, vol. 7, pp. 468-479, 1990 to Bates et al）」や、「位相回復に適用され反復する盲目的なデコンボリューション・アルゴリズム。（"Iterative blind deconvolution algorithm applied to phase retrieval", J.Opt.Soc.Am.A, vol.7(3), pp.428- 433, Mar. 1990.to Seldin et al.)」や、「デコンボリューションおよびゼロ・シートを使用した位相回復（ "Deconvolution and Phase Retrieval With Use of Zero Sheets," J. Optical Soc.Am.A, vol. 12, pp. 1,842-1,857, 1995 to Bones et al.）」などに記述されるような、特殊な状況として見つかるかもしれない。

しかしながら、イメージ復元の技術において精通している人々に知られており、また、「デジタルイメージ復元（ "Digital Image Restoration", Prentice HaIlJ 977 authored by Andrews, H.C. and Hunt, B. R.）」で説明されたように、ブラー関数が知られている場合には、ぶれたイメージは、十分によく回復することが可能である。

「ハイブリッドイメージングを用いたモーションブラー除去（ "Motion Deblurring Using Hybrid Imaging", by Moshe Ben-Ezra and Shree K. Nayar, from the Proceedings IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2003）」は、メインイメージの露出時間に多くの比較的鋭い参照イメージを撮影するハイブリッドカメラを使用することにより、ぶれたイメージのPSFを決定する。

しかしながら、これは、カメラの特別の構成を要求し、さらにイメージの同時捕捉が必要となる。したがって、この技術は、一般市場向けの安価なディジタル・カメラに容易に適用可能ではない。

本発明は、既存のカメラの機能を利用することが可能であり、したがって、特別の測定用のハードウェア(特別又は非標準的なカメラにおいても本発明の使用は除外されないが)を必要としない、取り込まれたデジタルイメージ中のカメラのモーションブラー関数を決定するために改善された技術を提供することを目的とする。

本発明によれば、メインイメージを取り込むための装置と、メインイメージの露出時間の外で得られた同じシーンの少なくとも1つの参照イメージとメインイメージとの比較に基づいて、メインイメージにおけるカメラのモーションブラー関数を決定するデジタル処理装置とを含むデジタルイメージ取得システムを提供する。

好ましくは、少なくとも1つの参照イメージは、プレビューイメージである。

また、好ましくは、デジタルイメージ取得システムは、ポータブルデジタルカメラである。

1つの実施形態では、デジタル処理装置は、メインイメージ中の対応する特徴より相対的にぶれていない１つの参照イメージ中の少なくとも1つの特徴を識別し、特徴に関して点像分布関数(PSF)を計算する。

他の実施形態では、デジタル処理装置は、複数の参照イメージ中の少なくとも1つの特徴の軌道を計算し、取り込まれたイメージ上へのそのような特徴を推定し、特徴に関するPSFを計算する。

いずれの場合も、メインイメージは、計算されたPSFに基づいて、当該技術の分野で既知のデコンボリューション技術を用いて、デコンボリューションを行うことが可能である。

図1は、本発明によるディジタル・カメラ装置のようなイメージ収集システムのブロック図を示す。

デジタル取得装置、この場合の、ポータブルデジタルカメラ20は、プロセッサ部120を含む。ディジタル・カメラ中で実行される処理の多くは、まとめてブロック120として描かれ「プロセッサ」と名付けられた、マイクロプロセッサー(μProc)や、中央処理装置(CPU)や、制御装置や、デジタル信号プロセッサ(DSP)や、特定用途向けIC(ASIC)で実行されるソフトウェアによってコントロールされ、実行されることは、十分に理解することができるだろう。

総称的に、ボタンとディスプレイのような周辺の構成装置のユーザー・インタフェースおよび制御はすべて、μ-コントローラー部122 によって制御される。シャッター・ボタンの半押し(プレキャプチャーモード32)のような、122のユーザー入力に応じて、プロセッサ部120は、起動して、デジタル写真の処理を制御する。

周囲光の露出は、フラッシュを使用すべきか自動的に判断するために、光センサー部40を使用して測定される。被写体への距離は、イメージ取得部60上のイメージの焦点を合わせるフォーカス部50を使用することで決められる。フラッシュが使用される場合には、プロセッサ部120は、シャッター・ボタンの十分な押下と同時に、イメージ取得部60によるイメージの記録とほぼ同時に、フラッシュを生成するため、フラッシュ部70を起動する。

イメージ取得部60は、デジタルでカラーのイメージを記録する。イメージ取得部は、当該技術に精通している人々に知られており、デジタル記録を容易にするCCD(電荷結合素子)あるいはCMOSを含んでいればよい。フラッシュは、光センサー部40あるいはカメラのユーザーからの手動入力72のいずれかに応じて選択的に生成されればよい。イメージ取得部60によって記録されたイメージは、DRAMあるいは不揮発性メモリーのようなコンピュータ・メモリーを含むイメージ格納部80に格納される。

カメラは、イメージのプレビューおよびポストビューのために、カメラの後面にLCDのようなディスプレイ部100あるいはファインダーの内部にマイクロ・ディスプレイを装備している。ユーザーは、ディスプレイ部100に表示されるプレビューイメージ(それらはプレキャプチャーモード32で生成される)により、焦点合わせと露出を決定することが可能であるとともに、イメージを構図することが可能となる。一時格納部82は、プレビューイメージの1つあるいは複数を格納し、かつ、イメージ格納部80の一部として、あるいは、別個の構成装置として使用される。

プレビューイメージは、同じイメージ取得部60によって通常生成され、速度とメモリーの効率の理由から、プレビューイメージのディスプレイ部100への表示や一時格納部82への格納の前に、専用ハードウェアもしくは一般的なプロセッサ部120の一部になりえるソフトウェアを使用して、サブサンプラー部124によるサブサンプリングにより生成してもよい。

シャッター・ボタンの十分な押下と同時に、最高解像度イメージは得られ、イメージ格納部80に格納される。イメージは、RAWセンサー・パターンからRGBフォーマットへの変換や、カラー補正や、画質の向上のような、イメージ処理ステージを経てもよい。

これらの演算は、主演算処理装置であるプロセッサ部120の一部として、あるいは、専用のDSPのような二次プロセッサの使用により行なわれてもよい。イメージ処理の完了次第、イメージは、取外し可能な記憶デバイス部112のような長期間記憶を保持する記憶装置に格納される。

本実施形態によれば、システムは、モーションブラー除去部100を含む。モーションブラー除去部100は、主演算処理装置であるプロセッサ部120又は別個のプロセッサ上で実行するソフトウェア又はファームウェアとして実現することが可能である。あるいは、モーションブラー除去部100は、デスクトップまたはサーバーのような外部制御演算装置10上で実行されるソフトウェア中で実現されるかもしれない。それは、イメージ出力部110(それは物理的な取外し可能な記憶装置、または、カメラと外部装置の間の無線通信あるいは拘束された接続でありえる)によってカメラ記憶部112からイメージを受け取る。

モーションブラー除去部100は、PSF計算部110と、PSFを使用して最高解像度イメージについて、デコンボルーションを行うイメージデコンボルブ部130を含む。これらの2つの構成部は、組み合わせてもよいし、別々に取り扱われてもよい。

PSF計算部110は、モーションブラーが存在するかどうか判断するような認定のみに使用されてもよい。一方、ブラー除去が必要かどうかPSF計算部110が判断した後にのみ、イメージデコンボルブ部130が起動してもよい。

図2は、本発明に従うPSFを計算する1つの実施形態のフロー・チャートである。

カメラが、プレビューモードにある間（210）には、連続的にプレビューイメージを取得し、カメラは露出と焦点を計算して、構図を表示する。そのようなイメージがいくつかの事前に定義された基準（222）を満たす場合には、プレビューイメージは保存される（230）。以下に説明されるように、そのような基準は、イメージの画質、および／または、入力順の考慮に基づいて定義される。

単純な基準は、常に最後のイメージを保存することでもよい。より高度なイメージの画質に関する基準は、プレビューイメージそれ自身に、大変多くのモーションブラーがあるかどうかに関する分析を含んでいてもよい。

単一のイメージの保存の代わりとして、複数のイメージが保存されてもよく（240）、最も古いイメージを置換して、最新のプレビューイメージがリストに加えられる（242、244）。最も古いイメージの定義は、先入れ先出しのように、入力順でよい。あるいは、それは、ステージ（222）の中で定義されるような基準を最小量満足するイメージであってもよい。

シャッター・ボタンが完全に押されるまで（280）、または、カメラが切られるまで、その処理は継続する（211）。

プレビューイメージが満たす必要がある基準（222）は、アルゴリズムの特別な実行に依存して変わる場合がある。1つの好ましい実施形態では、そのような基準は、イメージがぶれていないかどうかである。これは、ユーザーによる手持ちの状態でカメラが絶えず移動していても、ユーザーが堅くカメラを保持しているか、移動方向の変化によりある瞬間的に移動速度が0となるか、のいずれかに場合に、動きが0となる時間が存在するという仮定に基づく。

そのような基準は、絶対的である必要はなくてもよい。さらに、そのような基準は、完全な２次元イメージとは対照的に、1つ以上の１次元ベクトルに基づいていてもよい。いいかえれば、イメージが水平にはぶれるが、垂直の動きが記録されない場合や、逆に、移動が数学的に直行し、それにより分離可能かもしれない場合には、基準(222)は満たされることがある。

さらに端的な基準は、入力順に、プレビューイメージが生成されるスピードに対して等しいかより遅い所定の時間毎にイメージを保存することである。他の基準は、プレビューが焦点に達したか否かや、フラッシュが使用されたか否かや、露出に関連したことなどで定義されてもよい。

最後に、(280)で獲得した最高解像度のイメージは、保存される（282）。最高解像度のイメージが保存された後に（282）、それはメモリーに読み込まれ(292)、プレビューイメージも同様にメモリーに読み込まれる（294）。プレビューおよび最終イメージはともに、PSFを計算する処理の入力となる（110）。

PSFを計算する2つの異なる方法の説明を、図4および図5に示す。図4は、単一のプレビューイメージを使用してPSFを抽出するための実施形態500を示す。

本実施形態では、入力は、最後に取得した最高解像度のイメージ(511)と保存されたプレビューイメージ(512)である。PSFを生成する前に、プレビューイメージおよび最終イメージの位置を調整しなければならない。その位置合わせは、全部のイメージを使用して、大域処理になりえる(511,512)。

しかしながら、2つのイメージはいくつかの理由で正確ではない。プレビューイメージおよび最後の最高解像度のイメージが時間に関して異なるという事実のため、完全な位置合わせを行うことはできない。この場合には、イメージの特徴に基づき、当業者に知られている技術の使用により、局部的な位置合わせは、通常は十分可能である。位置合わせの処理は、選択された抽出された領域上で、あるいは、局部的な処理として行なわれればよい(520)。さらに、この位置合わせは、PSFの生成に使用された、選択された領域あるいは選択された特徴の近傍でのみ必要とされる。

この場合には、最高解像度のイメージおよびプレビューイメージのマッチング領域が、抽出される（521、522）。そのような領域の抽出の処理は、イメージをグリッドに分けるのと同じくらい単純かもしれない。そして、そのグリッドは、全体イメージあるいは最高解像度の領域でありえる。

他のさらに進んだスキームは、PSFを特定するのを支援する、カラーまたは露出におけるハイコントラスト、鋭いエッジ、あるいは、他の特別な選別、を伴う領域を検知するような、分類のプロセスに基づいた、特別な関心の領域の検知を含む。

本技術に精通している者は、ハイコントラストの領域あるいは局所的な特徴を分析し決定するための多くのアルゴリズムを知っているだろう。周波数変換およびエッジ検出技術は、このステップで使用されるかもしれない2つの特別の例である。そして、それは、分割、特徴抽出および分類ステップをさらに含んでいてもよい。

センサー・セルの部分集合を記録することにより、あるいは、生のセンサーのデータの平均により、一般的に生成されているプレビューイメージ(512)は、必ずではないが通常は、最高解像度のイメージ(511)より低い解像度である。したがって、2つのイメージ、あるいは、代わりにイメージ中の選択された領域は、ピクセル解像度中で合致する必要がある（530）。

本文では、「ピクセル解像度」は、関係のあるイメージまたは領域を構成するピクセル数に換算したイメージ、または、関連する領域のサイズを意味する。

そのような処理は、プレビューイメージ（532）をアップサンプリングすることや、獲得したイメージをダウンサンプリングすること（531）や、あるいは、それらの組合せによって行うことが可能である。本技術において精通している人々は、そのようなサンプリング方法に最も適したいくつかの技術を知っているだろう。

さて、前述したように、2次元イメージIは、I(x、y)として与えられる。イメージのぶれIについて記述する移動点像分布関数は、MPSF(I)として与えられる。劣化イメージI'(x、y)は、数学上、I(x、y)およびMPSF(x、y)のコンボルーションとして定義することが可能であり、すなわち、

ここで、前述のMPSF(x、y)のような関数が、オリジナルの関数が保存されているディラックのデルタ関数δ(x、y)でコンボリュートされることがよく知られている。したがって、プレビューイメージ内で、均質の背景に対する鋭いポイントを決定することが可能である場合には、それは、ぶれていないプレビューイメージ内の2Dディラックのデルタ関数の局部的な出現と等価である。

ここで、これを、メインイメージと局部的に合致させて位置合わせすることが可能である場合には、ぶれたイメージI'(x、y)と、この鋭いポイントのまわりのひずみパターンは、オリジナルイメージI(x、y)のぶれを引き起こした正確なPSFへの非常に接近した近似となるだろう。

したがって、プレビューイメージとメインイメージの間に位置合わせおよび解像度マッチングを行なう場合には、特別なポイントまたはハイコントラストなイメージの特徴の周囲のひずみパターンは、実質上、ポイントに対しては2D PSFの表現となり、鋭く一方向のラインに対しては１次元PSFの表現となる。

PSFは、多数の領域を組み合わせることにより生成することが可能である。単純な場合では、プレビューイメージ上の識別された個々の点と、最高解像度のメインイメージに見つかるこのポイントのその対応するモーションブラーの形態が、PSFである。

しかしながら、プレビューイメージおよび最高解像度イメージの両方中の単一の別個のポイントを決定し、合致させ、位置合わせすることが必ずしも可能だとは限らないかもしれない場合には、エッジとラインのような、より複雑な特徴の直交の部分の組合せからPSFを生成することもまた可能である。

多数の1-Dエッジおよびコーナーへの外挿法は、本技術に精通している人々には明らかである。複数の線広がり関数の場合には、直交直線のぶれを描くためには、単一のポイントのPSFを決定するために、数学的に組み合わせられ分析される必要がある。

統計上の分散により、この処理は、単一の領域に基づくPSFを識別するほどには正確ではないかもしれない。したがって、PSFの処理パワーおよび必要精度によって、PSFを見つけるステップは、PSFの精度のために潜在的にサブピクセルとより高いピクセルとを生成するためのイメージ内の複数の領域からの統計的な組み合わせまたは統計的なパターンマッチングの結果を含んでいてもよい。

上記に説明されるように、PSFは、移動不変量ではないかもしれない。したがって、正しいPSFを決定する過程は、イメージ内の位置の関数としてPSFの変動性を決定するためにイメージの様々な領域で行なわれるのがよい。

図5は、複数のプレビューイメージを使用して、PSFを推定する方法(600)を示す。

本実施形態では、イメージの動きはプレビューイメージの動きに基づいて推定される。図5によれば、このステージのための入力は、複数の取り込まれたプレビューイメージ（610）と最高解像度イメージ（620）である。

すべてのイメージは、正確なトラッキングを保証するためにそれらに関連した正確なタイムスタンプで記録される。ほとんどの場合、プレビューイメージは、毎秒数個のイメージの方式で、等しく分離される。しかしながら、最後の最高解像度イメージを含むイメージ間の間隔が知られている限り、これは、本実施形態では要求しない。

プレビューイメージ中の特徴的な1つ以上の領域が選択される（630）。特徴的な領域とは、輝度あるいはコントラストにおいて顕著な違いを備えた領域のように、背景から分離することが可能である領域である。そのような領域を識別するための技術は、当技術においてよく知られており、分割、特徴抽出および分類を含んでいる。

各領域は、次に、各プレビューイメージ中で対応する領域と合致させられる（632）。ある場合には、モーションブラーや対象物の不明瞭化により、あるいは、プレビューイメージの領域の外に移動したという事実により、すべての領域が、すべてのプレビューイメージ上で正確に決定されるとは限らない。

各領域の座標が、プレビューイメージに対して（634）、そして、最終イメージに対して（636）、記録される。

プレビューイメージの時間間隔を知ることにより、時間の関数としてカメラの動きを推定することが可能である。最高解像度イメージが得られる場合には（620）、記録される必要のあるパラメーターは、最高解像度イメージの露出の時間と同様に、最後に取り込まれたプレビューイメージと、最高解像度イメージとの間の時間の間隔である。

イメージが取り込まれる前のトラッキング（634）と最終イメージの間隔と持続時間とに基づいて、単一のポイントあるいはハイコントラストイメージの特徴の動きは、カメラの詳細な移動経路を決定するために、外挿して推定することが可能である（640）。

この処理は、図6に図示される。この図によれば、複数のプレビューイメージ902、904、906、及び、908が、取り込まれる。それらの各々では、各イメージ中の同じ特徴に対応する特定領域912、914、916、及び、918が、分離される。

最高解像度イメージは、910である。また、910では、912、914、916、918に対応する領域は、920としてマークされる。920が、モーションブラーにより歪められていることに注意が必要である。

時間の関数として1次元を追跡して、時間間隔932の関数として、それらの変位932に基づいて領域がプロットされた場合の、同一の領域が、930に図示されている。対象物942、944、946、948および950は、領域912、914、916、918および920に対応する。

移動は、ライン960として計算される。これは、個別のサンプリング点に基づいて、統計的な補間や、スプラインあるいは他のカーブ補間を使用して行うことが可能である。最終イメージについては、カーブを計算することが可能ではないという事実のため、それも、オリジナルカーブ960の外挿によって行うことが可能である。取得した最終イメージの領域は、見やすくするために、970として拡大した。

このプロットでは、ぶれた対象物950は、952として描かれる。また、カーブ690の部分は、962として示される。時間間隔、この場合の935は、露出が得られた正確な長さに制限されており、水平変位933は、正確な水平ぶれである。それに基づいて、挿入されたカーブ952は、露光の時間間隔935内に、移動経路990の外挿を生成する。

ここで、おおむね獲得したイメージの時間フレーム中の移動が、ほとんど等速、および、ほとんど0の加速度を示す場合には、移動経路の外挿は、PSFの有益な推定値を与えるために多くの場合十分である。

現在、多くのカメラが感度のよいジャイロスコープセンサーを組込むので、そのような情報を決定して、単純な移動経路の分析がモーションブラーPSFを推定するのに十分なことを確かめることは、可能である。

しかしながら、これがそうでない場合には(あるいは確実にそのような決定をなすことが可能でない場合には)、イメージ・シーンを横切るカメラ・レンズの移動経路についての情報から、および、プレビューイメージの継続時間及びタイムセパレーションについての情報から、詳細なモーションブラーPSFを評価することがさらに可能である。

この処理は、図7A及び図7Bの中で図示され、さらに詳細に記述される。すべてのPSFは、コンボリューションカーネルk(x、y)--> wによって表わすことが可能なエネルギー分布関数である。ここで(x、y)は位置であり、wはその位置でのエネルギーレベルである。

カーネルkは、次のエネルギー保存制約条件を満たす必要がある:

上記数式は、エネルギーは、ぶれる動作によっては、増加しないし失われもしないことを表す。モーションブラーPSFに適用する追加の制約条件を定義するために、我々は、経路関数f(t)--> (x,y)及びエネルギー関数h(t)--> wとして、PSFの時間パラメーター化を用いる。

物理的な速度および加速度の制約のため、f(t)は、連続であるべきであり、少なくとも2回微分可能であるべきであることに注意が必要である。ここで、 f(t)'は、(プレビュー)イメージフレームの速度であり、f(t)''は、時間tにおける加速度である。

シーンの放射輝度がイメージ取得の間に変わらないという仮定をすることによって、我々はさらなる制約条件を得る:

ここで、[t_Start、t_end]は、(プレビュー)イメージの取得間隔である。この制約条件は、任意の時間間隔における積分されるエネルギー量は、間隔の長さに比例することを明示する。これらの制約条件を与えて、我々は、図7Aと図7Bで図示されるような個別の移動サンプルから、連続的なモーションブラーPSFを概算することが可能である。

まず、我々は、上述され、図6に図示されるようなスプライン補間によって、移動経路f(t)を概算する。この経路[1005]を、図7Aに図示した。ここで、この経路に沿ってエネルギー関数h(t)を概算するために、我々は、この挿入された経路に沿った各イメージフレームの範囲を決定する必要がある。これは、ベン=エズラらに記述された移動重心仮定を用い、図7Aの中で示されるような1-D ボロノイ分割を用いて経路をフレームに分割することにより得ることができる。

一定の放射輝度の仮定は、等しい露光時間を備えたフレームは等しいエネルギー量の総和を示すということを示唆するので、我々は、図7Bの中で示されるような各フレームのh(t)を計算することが可能である。

プレビュー・フレームがそれぞれ一般的には同じ露光時間を持つので、それにより、メインイメージの取得長方形は別とした、図7Bの中の長方形が、それぞれ等しい面積を持つということに注意する。

この例において取込フレーム[1020]に関連した、メインイメージの長方形のエリアは、一般的にはプレビューイメージのフレームより何倍か大きくなり、メインイメージの露光時間が長い場合には、著しくより大きな程度を越えるものとなる。

この処理によって決定された、最終的なPSFは、図7Bの中で図示され、いくつかの別個の部分に分割されることができる。第1に、実線として示されたプレビューイメージ・フレーム[1052]の間に挿入されたPSFがある。第2に、最後のプレビューイメージと取得したメインイメージ[1054]の中間点との間で挿入されたPSFがある。第3に、長い露光時間を備え、それにより、ぶれに弱いメインイメージのために正確なPSFから離れる可能性がある、取得したメインイメージ[1055]の中間点を越えてPSFの外挿がある。

したがって、追加のポストビューイメージを得ることが好ましいかもしれない。そして、ポストビューイメージは、メインイメージが得られた後得られたプレビューイメージを除いたプレビューイメージと、同じカメラ機構を介して得たイメージである。

この技術は、少なくとも1つのポストビューイメージから決定されたPSFを備えたメインイメージPSF[1056]のさらなる補間を可能とする。その処理は、単一の領域に基づくPSFを卓越するほどは正確ではないかもしれない。したがって、処理パワーおよび必要な精度に従って、PSFを見つけるステップは、複数の領域の統計的なパターンマッチング過程と、複数の移動経路の決定過程と、それによりPSFのために、より高いピクセルと潜在的なサブピクセル精度の生成過程と、を含んでいてもよい。

図1は、本発明の実施形態によるカメラ装置のブロック図である。図2は、本発明の実施形態によるプレビューデータを用いたカメラのモーションブラー低減手段の初期段階のフローを示す。図3Aは、点像分布関数(PSF)の例を示す。図3Bは、点像分布関数(PSF)の例を示す。図3Cは、点像分布関数(PSF)の例を示す。図4は、本発明の第1の実施形態を示すワークフローである。図5は、本発明の第２の実施形態を示すワークフローである。図6は、本発明の第2の実施形態についての理解を助けるダイアグラムである。図7Aは、本発明の第2の実施形態についての理解を助けるダイアグラムである。図7Bは、本発明の第2の実施形態についての理解を助けるダイアグラムである。

Claims

メインイメージを取り込む手段(60)と、格納する手段(80)と、
前記メインイメージの取込を含まないが、少なくとも、ユーザーに前記メインイメージを構成することを支援するための、前記メインイメージの取込に至るまで及び/又はすぐに後に続く時間における一連の、前記メインイメージより低解像度の参照イメージを取り込む手段(60, 124)と、一時的に格納する手段(82)と、表示する手段(100)と、を含むポータブルデジタルスチルカメラ(20)であって、
前記メインイメージと、名目上、同じシーンの少なくとも１つの前記参照イメージと、の比較に基づいて、前記メインイメージ中のカメラのモーションブラー関数を決定するためのディジタル処理部(100)をさらに含むカメラ。
前記カメラのモーションブラー関数は、点像分布関数(PSF)である請求項1に記載のカメラ。
前記デジタル処理部は、さらに、前記カメラのモーションブラー関数を用いて、前記取り込まれたイメージのブラー除去(130)を行う請求項1に記載のカメラ。
前記デジタル処理部は、前記参照イメージのアップサンプリングと、前記メインイメージのサブサンプリングとの少なくとも1つにより、前記メインイメージと前記参照イメージとのピクセル解像度を合致する(530)ために配置される請求項1に記載のカメラ。
前記デジタル処理部は、前記メインイメージと前記参照イメージとの少なくとも一部分を位置合わせ(540)するために配置される請求項1に記載のカメラ。
前記位置あわせは、全体のイメージ上の大域的な位置合わせである請求項5に記載のカメラ。
前記デジタル処理部は、前記メインイメージと単一の参照イメージとを使用する請求項1に記載のカメラ。
前記デジタル処理部は、前記メインイメージの対応する特徴より比較的ぶれが少ない前記参照イメージの少なくとも1つの特徴を識別し(630)、前記特徴に関して点像分布関数(PSF)を計算する(642)請求項7に記載のカメラ。
前記デジタル処理部は、前記PSFを用いて、前記メインイメージをデコンボルブする請求項8に記載のカメラ。
前記デジタル処理部は、時間内の連続した点で得られた複数の参照イメージと前記メインイメージとを使用する請求項1に記載のカメラ。
前記デジタル処理部は、前記参照イメージ中の少なくとも1つの特徴の軌道を計算し(640)、前記メインイメージ上へのそのような特徴を外挿し、前記特徴に関して点像分布関数(PSF)を計算する請求項10に記載のカメラ。
前記デジタル処理部は、前記PSFを使用して、前記メインイメージをデコンボルブする請求項11に記載のカメラ。
高解像度のメインイメージを取り込む手段と、格納する手段と、
前記メインイメージの取込を含まないが、少なくとも、ユーザーに前記メインイメージを構成することを支援するための前記メインイメージの取込に至るまでの時間及び/又はすぐに後に続く一連の前記メインイメージより低解像度の参照イメージを取り込む手段(60, 124)と、一時的に格納する手段(82)と、表示する手段(100)と、を含むポータブルディジタルスチルカメラにおいて、
前記メインイメージと、名目上、同じシーンの少なくとも１つの前記参照イメージと、の比較に基づいて、前記メインイメージ中のカメラのモーションブラー関数を決定する方法。
前記カメラのモーションブラー関数は、点像分布関数である請求項13に記載の方法。
前記決定されたカメラ・モーションブラー関数を用いて、前記メインイメージのブラー除去をさらに行う請求項13に記載の方法。