JP4679662B2 - シーンの画像におけるぶれを低減する方法及びシーンの画像のぶれを除去する装置 - Google Patents

Description

本発明は、包括的には画像処理に関し、より詳細には、画像のぶれを除去することに関する。

動きは、人間の視覚に対する重要な助けとなるものである。それは、人間が自身の周囲を見て、解釈し、よりよく理解するのを助ける。動きは、人間の観察者には有用であるが、写真については致命傷になることが多い。最も明瞭で最も詳細な画像には、完全に固定したカメラ及びシーンが必要である。これは、自然の状況において素人写真術には極めて困難である。

従来のカメラは、焦点深度及び露出時間等のさまざまなカメラ及びシーンのパラメータを扱ういくつかの手動制御又は自動制御を含む。しかしながら、シーンの動きを扱う解決法は限られている。通常、露出時間は、動きの量が増大するに従って低減する。

現在の撮像手法は、一般に、動き選択の「瞬間の」理想的な、計算のない、０次モデルに従う。動いている物体が依然として実質的に静止して見えるように、露出時間は、可能な限り長くされることが理想的である。

デジタルカメラが１次動きモデルを使用することができるようにする改良された検知方法を提供することが望まれる。

動きぶれは、画像を取得している間の積分すなわち「露出時間」中のカメラとシーンとの間の相対的な動きの結果である。動きが少なくとも局所的にシフト不変性（shift-invariant）であり、且つ、ぶれをもたらした、点像分布関数（point-spread function)（ＰＳＦ）としても知られるぶれ関数が分かっている場合、動きぶれのある画像を、画像の逆畳み込みによって失われた空間周波数まで復元することができる。

しかしながら、画像逆畳み込みは、解の一意性を確立することができず、且つ解が入力データの摂動に対して過剰に影響を受け易い、不良設定逆問題の種類に属する。動きのぶれを除去し且つ再びぶれをもたらすいくつかの技法が知られている。

露出時間解決法
露出時間の短縮化は一般的な解決法である。しかしながら、露出時間が短いことによって、雑音が増加し、不必要に、画像の静止エリアに不利益をもたらす。高速度カメラは急速な動きを取り込むことができるが、検知、帯域幅及び記憶の点で費用がかかる。高速度カメラはまた、フレーム間コヒーレンスを利用しない。高速度カメラは、明るい光が必要であることが多い。適度な露出時間を使用するが極めて短い持続時間のフラッシュを使用することによって、高速物体に対する視覚的に驚くような結果を得ることができる。しかしながら、ストロボフラッシュは、屋外又は離れたシーンでは実際的でないことが多い。さらに、フラッシュは、動作の瞬間のみを取り込み、シーンの全体的な動きを示さない。

より高性能のカメラ
カメラの動きを克服するために、カメラの動きを補償する慣性センサを使用して適応光学部品を物理的に安定化することができる。別法として、ＣＭＯＳカメラには、通常の露出時間内で高速フレーム取込みを実行し、複数画像ベースの動きぶれ除去を可能とするものもある。それら技法は、露出時間が妥当であれば、明瞭且つ鮮明な画像を生成することができる。

ハイブリッド撮像系は、補助低解像度高フレームレートセンサを使用してＰＳＦを推定することができる。正確なＰＳＦは、露出が長い場合であっても、ぶれ除去を可能にする。それら方法は、カメラの動きを補償するが、シーン内の物体の動きには対応しない。

ビデオ分析
部分的な情報を結合して、ビデオカメラによって取り込まれた連続フレームに基づくか、又は露出時間がオーバラップした複数の同一場所に配置されたカメラによって取り込まれたフレームから、ビデオを推定しぶれを除去することができる。

後処理解決法
ぶれＰＳＦを考慮して画像のぶれを除去する方法には２つの主な種類がある。第１の種類は、周波数領域において、ウィナーフィルタすなわち正規化反転を使用することができ、ぶれが除去された画像のフーリエ（コサイン）変換の計算を必要とする。第２の種類は、反復更新手法を含む。これらは、ルーシー・リチャードソン（Lucy-Richardson）アルゴリズム、及び画像統計に基づいて損失指標を反復的に最適化する他の更新を含む。

また、露出の長い写真において観察される色制約を使用することによって、雑音のある露出の短い画像の画質を向上させることも可能である。ＰＳＦに適用されるさまざまな仮定に基づいて、単一のぶれのある画像の画質を向上させるようにブラインド逆畳み込みが広く採用される。ＰＳＦ推定は、任意の動きに関して依然として難しい問題である。さらにＰＳＦが既知である場合であっても、ぶれが除去された画像は、増幅された雑音、再サンプリング及び量子化問題のために、元の画像より著しく画質が劣化することが多い。わずかな動きのぶれを除去することしか可能でないことが多い。

符号化サンプリング
一般に、信号処理において、広帯域応答で信号を変調するために、２値の連続した符号が使用される。符号は、パルス間隔中に広い周波数帯域にわたって搬送波を掃引する「チャープ」を含む。最長系列（ｍ系列）及び修正均一冗長アレイ（modified uniform redundant array）（ＭＵＲＡ）は、巡回畳み込みによる符号化及び復号に対する一般的な選択である。符号化開口天体結像法（Coded-aperture astronomical imaging）は、従来のレンズに適していないＸ線及びガンマ線波長を取り込みながら、ＭＵＲＡ符号を使用して信号対雑音比を向上させる。

広帯域信号は、雑音に頑強な通信のためのスペクトル拡散符号化及び他のチャネルとの干渉を最小限にするための符号分割多重（ＣＤＭＡ）等、さまざまな技術において適用されている。音響学者は、ｍ系列を使用して、音波回折が最小限である２次元パネルを設計する。

逆畳み込みを介して１次元信号のぶれを除去する問題について考える。目的は、線形システムの点像分布関数Ｐ（ｘ）によってぶれた信号Ｓ（ｘ）を推定することである。そして、測定された画像信号Ｉ（ｘ）は、

であることが分かる。式中、＊は畳み込みを示す。理想的な場合、画像の良い推定値Ｓ’（ｘ）を、以下のように逆畳み込みフィルタＰ^＋（ｘ）を介して回復することができる。

帯域制限点像分布関数、又はフーリエ領域の適用範囲が不完全である点像分布関数の場合、情報は失われ、逆畳み込みは不可能である。たとえば、露出時間Ｔで画像を取り込むことは、時間領域においてボックスフィルタを用いる畳み込みと等価である。結果としての改変は、平坦なぶれ（flat blur）である。周波数領域において、信号は、２／Ｔの間隔でゼロを有し且つ他の大部分の周波数で大幅に減衰する帯域制限同期関数によって乗算される。

この問題を克服するために、いくつかの方法は、反復最尤推定法を使用してあり得る解の範囲からそれらの復元を選択する。１つの既知の種類の技法は、ベイズの公式に基づいて画像形成のために統計モデルを使用する。リチャードソン・ルーシーアルゴリズムは、負でないグレーレベル値を生成する非線形率ベースの方法である。反復逆畳み込み技法は、動きぶれ全体に適用可能であり、完全な信号Ｉ（ｘ）が得られると想定する。しかしながら、反復逆畳み込みは、動いている物体が静止したテクスチャ背景の前面にある場合等、シーンの一部が異なるＰＳＦを有する場合を扱わない。動いている物体の一部が遮蔽される場合、Ｉ（ｘ）のいくつかの値を観察することができない。

従来のカメラは、露出時間中、シャッタを開いたままにし、画像安定化技法及び／又は逆畳み込み技法を用いて画像のぶれを除去しようとする。このような技法は、カメラの動きによる画像全体のぶれを低減することができるが、動いている遮蔽物からのぶれを補正することができない。さらに、逆畳み込みは、強い雑音のあるアーティファクト（artifacts）をもたらす可能性がある。

本発明の実施の形態は、カメラによって取得されたシーンの画像の動きぶれを最小化する。露出時間全体にわたってシャッタを開いたままにするのではなく、シャッタを迅速に「はためかせる（flutter）」。すなわち、シャッタは、不規則な時間系列で開閉することによって符号化画像をもたらす。

そして、符号化画像を復号することによって、動いている物体の画像の細部の画質を向上させることができる。復号は、線形代数を使用して、符号化ぶれ画像を、鮮鋭で静止した前景画像と背景画像とに分離する。

本発明の実施の形態は、極めて大きい動き、テクスチャ背景及び部分的遮蔽物を有する画像のぶれを除去することができる。

本明細書で説明する変調技法、サンプリング技法及び復号技法はまた、超音波及びソナー検知等の他のエネルギー場でも用いることができるということが留意されるべきである。その場合、検知される信号は、デバイスの制限のために、又はソナーデバイスが移動したために、ローパスフィルタリングされる。時間サンプリング符号を使用することによって、高周波数成分の減衰を低減することができる。

画像にスミアをもたらす他のデバイスに対し、高周波数サンプリング技法を使用することも可能である。たとえば、レンズの焦点が合わないことによって、ピンぼけしたぶれのある画像がもたらされる。レンズの正面に高周波数パターンを配置することによって、後の復号プロセス中に焦点の合った鮮鋭な画像を回復することができるように、ピクセルぶれを符号化することができる。

変調及び符号化は、カメラの外部又は内部で行うことができ、シャッタの振幅、周波数、位相、パルス幅、不透明度又は偏光変調を含むことができるということが留意されるべきである。

はためく露出シーケンスを介するぶれの除去にはいくつかの利点がある。天文学又は断層撮影法で使用される方法等の符号化結像方法は、通常、人間の観察者には意味のない生画像を検知する。好都合なことに、本発明の場合、符号化露出画像は、正しく復号されない場合であっても有用である。平坦ぶれと比較して、画像は、最悪の場合、半分の強度で半分ぶれる。符号化系列は、より複雑な連続不透明度制御とは対照的に２値不透明度をトグル（toggle）すればよいため、実装が容易である。デジタルカメラでは、２値切替えプロセスを、シャッタで直接実装することができるか、又は検知チップ自体に実装することができる。

図１Ａ、図１Ｂ及び図１Ｃは、本発明の一実施形態によるぶれ除去カメラの簡易概略図を示す。カメラは、レンズ１１０、固体イメージセンサ１２０、シャッタ１３０及びシャッタコントローラ１４０を備える。好ましい一実施形態では、カメラはデジタルカメラであり、センサはピクセルのアレイを含む。ピクセルは、ベイヤー（Bayer）グリッドに交互配置されたＲＧＢピクセルを含んでもよい。カメラは、単一のフォトセンサとすることができる。カメラはまた、一連の画像又はフレームを生成するデジタルビデオカメラとすることもできる。入力画像がオンライン１５０でデジタル信号として生成される。

図１Ｂに示す実施形態では、図１Ａのシャッタ機能は、入力エネルギー場１０１を取得し積分しながら、センサ１２０を時間的にオン・オフすることができるセンサコントローラ１４１によって実装される。エネルギー場は、あらゆるタイプの電磁放射、たとえば可視光若しくは赤外光、又は音響放射、たとえば超音波及びソナーとすることができる。

図１Ｃに示す実施形態では、画像が取得されている間に、フラッシュユニット１７５を「はためかせる」すなわち閃光させる（strobe）。

すべての実施形態が、本質的に、露出時間中に、センサ１２０によって取得された光場を２値オン・オフ系列に従って時間的に変調することによって、積分されたぶれのある入力画像１５０を生成する。

露出時間の持続時間全体にわたってシャッタを開いたままにするのではなく、本発明では、シャッタを、急速な不規則な２値系列で、すなわち時間パターンで、開閉するように「はためかせる」。一連の画像における異なる画像に対して異なる２値系列を使用してもよい。また、２値系列は、オン及びオフの任意の系列とすることができるか、又は擬似乱数系列とすることができるということも留意されるべきである。すなわち、従来のカメラのように単一のオン（開く）の後に単一のオフ（閉じる）が続く代わりに、シャッタは複数回開閉され、シャッタが開閉される時間は露出時間中に変化する。

ここでは、結果として得られる画像を符号化ぶれ画像Ｉ（ｘ）と呼ぶ。はためき（fluttering）は、結果として得られる点像分布関数（ＰＳＦ）Ｐ（ｘ）がフーリエ領域に最大適用範囲を有するように、動きの積分をオン・オフでトグル（toggle）する。言い換えれば、２値オン・オフ系列での変調によって、結果として得られる点像分布関数の良設定反転可能フーリエ変換がもたらされる。シャッタのないカメラの実施形態では、はためきを、積分している間にセンサのオン・オフを切り替え、露出時間の最後にセンサをサンプリングすることによって達成することができる。「はためき」又は変調を、フラッシュユニットのオン・オフを急速に切り替えることによって達成することも可能である。センサのはためきをストロボのはためきと結合することによって特別な効果を達成することも可能である。

オン／オフ切替え時間は、１００マイクロ秒未満とすることができる。通常、総露出時間は約２００ミリ秒であり、符号化露出シーケンスは、たとえば約５２回の切替えを含む。

観察されたぶれのある画像は、変調光場の時間積分と、空間的な物体の動きとの間の畳み込みである。物体の動きは事前に未知であるが、畳み込まれた（ぶれのある）画像Ｉ（ｘ）が、動いている物体の比較的高い空間周波数を保存し、復号プロセス１６０を使用して空間周波数を回復するのを可能にするように、時間パターンを選択することができる。復号プロセスは、図示するようなカメラの内部にあることができ、その場合、出力画像１５２はぶれが除去された画像である。別法として、プロセス１６０を外部でぶれのある入力画像に適用することができる。

図１Ｄは、本発明の一実施形態による入力画像のぶれを除去する方法を示す。シーンの光場１０１は、オン／オフ符号化パターン１８３を使用してはためきコントローラ１８２によって変調及び符号化され（１８１）、符号化されたぶれのある入力画像１８４がもたらされる。符号化画像が復号される（１８５）ことによって、ぶれが除去された出力画像１８６がもたらされる。

図４Ａ及び図４Ｂは、動いているタクシーの処理前画像と処理後画像とを示す。

動きモデル
より一般的に、図２及び図３において概略的に示すような線形代数を用いて畳み込みについて説明する。Ｂが、ぶれのある入力画像ピクセル値を示すものとする。画像Ｂの各ピクセルは、所望のぶれのない画像Ｘにおける強度の一次結合であり、以下のように書くことができる。

行列Ａを、スミアリング行列（smearing matrix）として示す。スミアリング行列は、入力画像の点像分布関数Ｐ（ｘ）との畳み込みを記述し、ηは、雑音、量子化誤差及びモデル不正確さによる測定不確実性を表す。

２次元ＰＳＦの場合、行列Ａはブロック巡回型（block-circulant）であり、１次元ＰＳＦの場合、行列Ａは巡回型である。簡単のために、１次元ＰＳＦの場合の符号化及び復号のプロセスについて説明する。これは容易に２次元の場合に拡張することができる。

有限露出時間がＴ秒間である場合、積分すなわち露出時間をチョップ（chop）と呼ぶｍ個のタイムスライスに分割して、各チョップがＴ／ｍ秒長であるようにする。オン・オフチョップパターンは、長さｍの２値系列１８３である。動きぶれプロセスは、時間２０１から空間２０３への投影であり、そこでは、１次元動きの場合、Ｔ秒間の動きによってｋ個のピクセルの線形ぶれがもたらされる。このため、１つの単一チョップの持続時間内で、スミアはｋ／ｍ個のピクセルにわたる。

図２に概略的に示すように、物体が黒い背景の前面を経時的に空間的に上方に動いており、垂直スキャンラインに沿って評価される単純な場合を考える。ＰＳＦが、画像ピクセル座標において長さｋである場合、第１のチョップの位置（ｕ，ｖ）におけるピクセルは、ピクセル（ｕ，ｖ＋ｋ−１）まで線形にスミアリングされる。動きの方向に沿った物体の長さがｎピクセルである場合、総ぶれ幅はｗであり、ｗ＝（ｎ＋ｋ−１）である。本発明の目的は、観察されたｎ＋ｋ−１ピクセルからｎ個のピクセルの最良推定値を確定することである。

スミア行列Ａを、以下のように得ることができる。未知の画像Ｘにおける各ピクセルは、スミアリングの後に合計ｋ個のピクセルに寄与する。巡回行列Ａの第１列は長さｋのＰＳＦベクトルであり、その後にｎ−１個の０が続く。後続する列の各々は、エントリを１ステップ前方に環状に置換することによって、先の列から得られる。したがって、黒の背景の場合、Ｐ（ｘ）との線形畳み込み又は巡回行列Ａによる乗算は、ｎ−１個の０でパディングされた長さｋのＰＳＦベクトルとの巡回畳み込みと等価である。

実際には、Ｘはスミア方向において未知の値をｎ個しか有していないため、行列Ａを第１のｎ列まで切り捨てることによって、過制約最小二乗システムを構成することができる。このように、行列Ａのサイズは（ｎ＋ｋ−１）×ｎとなる。平坦ぶれの場合、定数値を有する長さｎの入力信号の時間・空間投影によって、台形強度プロファイルの応答が生成される。プロファイルの傾斜は、ｋ個ピクセル各々のスパンを有し、平坦部（plateau）はｎ−ｋ−１ピクセル長である。符号化ぶれ（coded blur）の場合、強度プロファイルの全体形状は依然として台形であるが、シャッタの急速なはためきによって、図２に示すように、傾斜がよりぎざぎざを有する形状２１０に変化する。

符号選択
本発明の目的は、撮像プロセスの反転可能性を向上させる時間符号を選択することである。ここでは、符号化行列の条件数と符号の周波数スペクトルの分散とを調査することによって反転可能性を分析する。

不確実性及び雑音がある場合の拡散行列Ａの反転可能性を、標準的な行列条件付け分析（matrix conditioning analysis）によって判断することができる。条件数は最大特異値の最小特異値に対する比であり、入力画像Ｂにおける雑音ηに対する解Ｘの感度を示す。巡回行列の固有値は、巡回行列の第１列の離散フーリエ変換（ＤＦＴ）の大きさを含み、行列Ａの各列は、０でパディングされたＰＳＦベクトルであることに留意する。この観察に基づき、スミアリング行列の対応する条件数が可能な限り多いように、広帯域周波数応答の符号系列を選択する。

理論的には、時間において連続的に、結果的に生じるフィルタの不透明度を、たとえばチャープ状関数を使用することによって、広帯域周波数応答を達成するように変更することができる。しかしながら、実際には、固定チョップ持続時間での２値（オン／オフ）不透明度切替えの方が容易に実装される。

広帯域２値符号の選択肢は、ウォルシュ・アダマール符号、最大長系列及び修正均一ランダムアレイ（modified uniform random array）（ＭＵＲＡ）符号を含む。ＭＵＲＡ系列は、その離散フーリエ変換が平坦であるため、明白な選択肢であるように思われ得る。しかしながら、動きぶれの場合、ｎが動きの方向に沿ったピクセルでの物体の長さである場合、巡回畳み込みが、ｎ−１個のゼロでパディングされた長さｋのＰＳＦベクトルで発生する。後述するように、ＭＵＲＡは、ゼロパディングされたパターンには最適ではなく、最良のあり得る符号を探索させる。

ゼロパディングのないＭＵＲＡパターンのＤＦＴは平坦である。しかしながら、ＤＦＴは、離散周波数しか正確に解くことができない。ＤＦＴビンの間に入る成分に対し、スペクトル漏れがある。ゼロパディングによって、周波数成分における分解能がより大きくなり、ＭＵＲＡパターンの脆弱性が明らかとなる。

復号には周波数スペクトルの反転が含まれるため、本発明による最良の２値チョップパターンの探索に対し平滑性制約も加えられる。周波数応答は、復号中、ＰＳＦの不正確な推定が不正確な空間周波数の増幅をもたらさないように、低分散でなければならない。ボックスフィルタ系列とパディングされたＭＵＲＡ系列との両方の周波数応答が、深いディップ又はゼロを含み、それによって両方に対して分散が高くなる。周波数領域におけるスパイクによって、スプリアス増幅となる。

低分散の広帯域応答の符号を見つけるために、ここでは、長さｍ２０２の２値符号の全数探索を行った。最も平坦な応答を見つける線形探索には、最大の周波数の大きさと最低の周波数の大きさとの間の最小比を有する符号を見つけることが含まれる。さらに、ここでは、解に対し、それらの標準偏差によって重み付けする。

最後に、系列長１８３の長さｍを確定する。後述するように、理想的なチョップ数は、ぶれサイズｋに等しい。本発明の実施形態によるカメラは、検知されたオプティカルフローに基づき、長さｍを実行中に判断する自動はためきモード、すなわちオートフォーカス機能に類似する形態の動き適応を有する。妥協値を、実験によって確定してもよい。ここでは、ｍ＝５２チョップの系列を選択する。全数探索を使用して見つけた最適符号系列は以下の通りである。
１０１００００１１１０００００１０１００００１１００１１１１０１１１０１０１１１００１００１１００１１１

動き復号
線形解
ＰＳＦが推定されると、既知の画像逆畳み込みプロセスを使用してぶれのある画像のぶれを除去することができる。しかしながら、後述するいくつかの場合において、逆畳み込みを介してさらなる制約を追加することは困難であり、代りに線形代数プロセス法がより実際的であり好ましいことが分かった。ここでは、最小二乗推定を使用して、ぶれが除去された画像

を、

として解く。式中、Ａ^＋は最小二乗的に行列Ａの擬似逆行列である。入力画像に、ｍとは異なる動きぶれｋがある可能性があるため、まず、所与のぶれのある画像を係数ｍ／ｋで拡大／縮小する。そして、Ｘを推定し、その元のサイズに戻すようにｋ／ｍでスケーリングする。

以下の段落では、１次元ＰＳＦに焦点を当てる。フレーム内の実世界の物体の動きは、エネルギー及び慣性制約のために１次元である傾向にある。ここでは、動きの１次元線状経路を動きライン（motion line）と呼ぶ。なお、所与の動きライン上のシーン特徴はその動きライン上のピクセルのみに寄与し、したがって、複数の動きラインは独立していることに留意されたい。

各動きラインに対する解を、他の動きラインとは独立して確定することができる。後の説明では、一般性を失うことなく、動きラインを、水平スキャンラインに沿って方向付けられていているものと想定する。しかしながら、カメラジッタ等の例では、ＰＳＦは通常、２次元における１次元多様体の集まりである。本発明による方法は、これらのＰＳＦまで同様に拡張することができる。

一般に、ぶれ除去プロセス１６０は、いずれのピクセルが画像のぶれのある動いている前景領域に属するかと、いずれがぶれのない静止背景領域に属するかとを知る必要がある。分類を誤ることによって、ぶれのない背景ピクセルが動きライン全体に沿って結果を汚染する復号誤りをもたらす可能性がある。

領域を、任意の既知の方法を使用して、ぶれのある領域とぶれのない領域とに分類することができる。静止カメラの場合、動いている物体の「切抜き（cut-out）」又はシルエットを、フレーム差分動作を介して又は２つの連続フレームにおける動いている物体の位置を比較することによって、取得することができる。反復ぶれ除去プロセスでは、図４Ｃに示すように、ユーザは、ぶれた物体の周囲に軸合せされた近似的な境界ボックス４００を指定することができる。画像において動いている物体の位置を特定する多数の技法が知られている。

境界ボックスの幅ｗ_ｂは、通常、ぶれ幅ｗ＝（ｎ＋ｋ−１）よりわずかに大きい。ユーザは、ぶれの長さｋを指定し、それは、物体の形状がｎ’＝ｗ_ｂ−ｋ＋１であることを示す。値ｎ’を、ｎの近い近似値であるみなすことができる。長さが各動きラインに沿って異なる場合、ユーザは、境界ボックスではなく、図４Ｄに示すように、切抜き４０１を指定する。

背景推定
ここで、静止した、ぶれのない背景の前面で不透明物体が動いていることによる動きぶれの問題を扱う。これは、一般的であるが困難な場合であり、それは、動いている物体が背景と「混合する（blend）」傾向にあるためである。画像のぶれを除去するために、動いている物体のＰＳＦを知ることでは不十分である。ここでは、この問題を探求し、事例を分類し、場合によっては、ブレ除去プロセス中に、ぶれた物体のエッジにおいて可視である未知の背景を回復することができることを示す。

ぶれのある画像は、以下の式によって与えられる。

式中、Ｘは動いている前景物体であり、Ｘ_ｇは静止背景であり、Ａ_ｇは、要素が静止背景を減衰させる背景減衰行列である。行列Ａ_ｇを、以下のように書くことができる。

式中、Ｉ_ｑ×１は、すべて１である長さｑのベクトルであり、ｄｉａｇ（ｖ）は、ベクトルｖを主対角線に置くことによって正方行列を返す。

背景推定の分析は、ぶれのある領域に寄与するピクセルの背景の数ｇに基づく。サイズ（ｎ＋ｋ−１）（ｎ＞ｋ）のぶれのある領域では、背景はエッジの近くでのみ可視であり、２ｋ個のピクセルにのみ寄与する。

しかしながら、ｎ＜ｋの場合、物体はその長さより多くスミアリングし、背景は、ぶれたピクセルすべてにおいて部分的に可視である。このため、ｇ＝ｍｉｎ（２ｋ，ｎ＋ｋ−１）である。（ｎ＋ｋ−１）ピクセルで観察すると、最低ｎ＋２ｋ個の値を推定する。物体動きに対し且つ背景画像に対応するテクスチャの複雑性に対し制約を加えることによって、追加のｋ＋１個の未知数を推定することができる。

前景Ｘ及び背景Ｘ_ｇを推定するために以下の事例を考える。
１．形状が既知である幅の広い物体及びテクスチャ背景：ｎ＞ｋ
２．形状が未知である幅の広い物体：ｎ＞ｋ、及び
ｉ．一定の背景、
ｉｉ．テクスチャ背景であるが、テクスチャのエッジはぶれ領域の外部にある
ｉｉｉ．テクスチャ背景であり、テクスチャのエッジはぶれ領域を通過する
３．幅の狭い物体であって、その長さより長い距離にわたってぶれた物体：ｎ＜ｋ

事例１では、指定された切抜きがぶれた物体の形状を正確にマークするように、長さｎ’＝ｎの指定されたぶれ領域を制約する。背景ピクセルの台形寄与の傾斜の正確な位置が分かるため、背景減衰行列Ａ_ｇを構成することができる。ここでは、背景が或る周波数を有するという単純化した想定を行うことによって、背景に対し２ｋ個のあり得る値から最大ｋ−１個の値を推定する。

事例２（ｉ）では、物体の形状は未知である。背景が一定である場合、背景を、「スミアリングされた」値を生成する、動いている物体の一部として扱うことができる。単一の未知の背景色を推定するというタスクのみが残る。各動きラインが独立しているため、各動きラインに対して異なる背景を回復することができる。この推定が可能であるのは、本発明による符号化露出方法がスミアリング行列Ａのかなりの条件数を提供するという理由のみによる。ボックスフィルタリングされた、すなわち平坦ぶれの場合、条件数は少なく、この同じ推定値を見つけようとする試みは非常に不安定である。スミアリング行列のいくつかの特異値は、ボックスフィルタＰＳＦの場合比較的小さく、未知数の数が増大するに従い、線形解は悪い状態になる。

事例２（ｉｉ）では、背景は一定ではないが、背景のエッジがぶれた領域の外部にある場合、依然として背景を回復することができる。ここでは、勾配領域法を使用して、背景のばらつきを除去する。背景における最もあり得る勾配は、ＰＳＦによってｍ／２以上の係数で減衰される。このため、２／ｍを上回る大きさの動きラインに沿った勾配のすべてが、背景エッジである可能性があり、これら勾配は０に設定される。動きラインは、前景領域から開始して外側に変更勾配を積分することによって再構成される。

事例２（ｉｉｉ）では、背景エッジは前景ぶれと混合され、非常に減衰されている。この事例に対しては、背景テクスチャを合成することしかできない。

事例３では、すべてのぼけたピクセルが背景からの寄与を有する。なお、この場合は一意の解を有しないことに留意されたい。背景減衰はすべてのピクセルに対して非ゼロであるため、同じぶれのある画像をもたらすＸ及びＸ_ｇに対し複数の解を得ることができる。特に、解Ｘ_１及びＸ_ｇ１を考慮すると、常に別の解Ｘ_２を見つけ、以下のように背景を変更することができる。

そして、値Ｘ_ｇ２は、以下の式によって与えられる。

なお、他の事例では、背景は完全に見えず、背景寄与行列Ａ_ｇは可逆ではないため、ｎ＞ｋであることに留意されたい。

ここでは、物理的な値の線形又は反復推定に焦点を当てたが、視覚的に満足のいく結果のために他の解を得ることも可能である。このような技法は、テクスチャ合成、画像修復、構造伝播、又は遮蔽されない背景若しくは「遠方背景（clean plate）」画像の取込みを含む。

単純な動き一般化
画像ワーピングを適用することによって、本発明による方法１６０は、遠近法による消点において接触するラインに沿った動きと同様に、固定中心の周りの平面回転において、アフィン変換として投影する単純な動きのはるかに広いセットを復号することができる。符号化ぶれのＰＳＦは最初は非線形であり位置依存であるが、線形動きの大部分をワーピングすることによって、画像スキャンラインに位置合せされた空間的に不変の一様の長さの変位ベクトルを有する画像を生成することができる。動きぶれがこの同じ変位ベクトル場に従うため、ワーピングされた画像は、この時点で復号に適している一様の幅の符号化ぶれ領域を提供する。最終結果をもたらすために、単に逆ワーピングを適用することによって、復号画像をその元の幾何学的形状に戻す。遠近ワーピングの場合、動きラインの消点を推定した後に順変換を適用することができる。順変換に従い、カメラ画像空間においてワーピングされた動きラインはすべて平行である。

面内回転、たとえば、回転するファン又は揺動する振り子は、回転の中心の周囲に同心円を形成する動きラインを生成する。これらを、極座標でぶれ除去することによって扱うことができる。

再合成
ぶれが除去された結果は、広範囲のアプリケーションに対して有益である。ここでは、芸術的なぶれを再形成する例について説明し、次のセクションで他のアプリケーションについて説明する。

動きボケ（Bokeh）
本発明では、単一のぶれのある画像から任意の動きぶれを生成することができる。ボケは、画像内のさまざまな芸術的に制御された焦点又はグレア効果を説明するために従来から使用される日本語の用語である。さまざまな形状のピンホール又は開口を使用することによって、撮影者は、明るい点状物体を、それらの焦点が合っていない時に、円板、三角形、星及び他の形態として現れるようにすることができる。焦点の合っていない領域の色及び明るさは、一定の品質の光の感じ及び屋外の感覚に寄与する。

ここでは、芸術家が選択したチョップ寄与を使用することによって時間的ぶれでボケを生成する。ボックスフィルタリングによる平坦ぶれは、大部分の視覚的詳細が喪失した画像を生成する。漫画家又は車の広告主は、ボックスフィルタを用いて画像全体をスミアリングするのではなく、小さい縞（streak）を形成することによって動きを示す。

本発明では、この画像をぶれが除去されたピクセルから、動きラインに沿った勾配の高いピクセルを復号から排除することによって生成することができる。この部分的に勾配の高い画像をスミアリングする。背景は、適当に縞の間から「のぞく」ことに留意されたい。そして、図４Ｅに示すように、適度にぶれた結果に対してこのスミアリングされた画像を重ね合わせる。

動き貼付け
図５に示すように、本発明では、回復された動いている物体と背景との間に新たな物体を、それら３つの要素の適当な動き誘引混合を用いて重ね合わせることができる。これを達成するために、対象画像を時間的に、ｋ個の個々のチョップ画像を有する系列に分割する。各チョップに対し、元の車と挿入された車とを、そのチョップに対して線形補間変位を用いて位置決めする。３つの層は、遮蔽関係を画定する。そして、所望のＰＳＦを使用して、生成されたｋ個の画像を混合する。

アプリケーション
カメラの動き
カメラの動きは、従来、光学素子のジャイロベースの物理的安定化を使用して解決される。カメラ振動によってもたらされるぶれのある画像からカメラ動きを回復することも可能である。この場合、ＰＳＦは複雑であり、２次元ＰＳＦを推定するために別の方法が必要な場合もある。これを、カメラに組み込まれた加速度計若しくはジャイロスコープを介して、又は補助低解像度高フレームレートカメラを用いて達成することができる。ここでは、シフト不変性、すなわちすべての点が同じＰＳＦを共有すると想定するため、単一の特徴のみを追跡すればよい。たとえば、点光源、たとえば発光ダイオードを視野内に配置することができる。光のスミアを本発明によるＰＳＦとして使用する。

部分的遮蔽の除去
動きぶれは、動いている物体の色をその動きラインに沿って広く分散させる。動いている物体が、幅の狭い固定前景物体によって部分的に遮蔽される場合、本発明では、動いている物体の部分的に遮蔽された領域すべてに対して依然として色を回復することができる。画像修復等の技法は、あり得るピクセル値に「幻覚を起こす（hallucinate）」が、符号化ぶれによって、完全に観察されたシステムを包含することができる。

１次元ＰＳＦの場合、ぶれ幅サイズがｗであり且つ部分的遮蔽物の長さがｄであるならば、ｎ個のピクセルを復元するために、記録されたｎ＋ｋ−１ピクセルのうちのｎ＋ｋ−１−ｄピクセルしか利用できない。ぶれサイズｋが遮蔽物の長さｄより大きい場合、欠けているｄ個のピクセルすべてを回復することができる。図６Ｂは、遮蔽物としてポールを有する図６Ａのぶれのある画像から回復された車の画像である。

本発明では、符号化露出を、離散周波数領域において且つ行列条件付け分析を介して分析することができる。しかしながら、さまざまな要素、すなわち符号系列、符号の長さ、ぶれの長さ及び復号後の対応する雑音の間の関係もまた連続した領域であり得る。ここでは、離散フーリエ変換を分析することによって、スミアリング行列Ａの固有値を向上させるように２値符号を最適化する。本発明の実施形態による符号は、復号中に線形混合モデルが反転される他のエリアに適用され得ると考えられる。本発明では、全数線形探索を介して符号を取得した。しかしながら、他の探索技法を使用することも可能である。

符号化露出を介する逆畳み込みは、単一通信チャネルの符号分割多重化及び逆多重化に対する類似性を示す。ＣＤＭＡ分野及び背景雑音と同時の直交符号又はチャネル受信における進歩によって、本明細書で説明するような符号化ぶれ写真術における結果を改善し且つ広げることができる。符号化及び復元は、断層撮影法及び符号化開口結像といくつかの類似性を有し、この関係を利用することによって、時間画像処理においてさらなる利益をもたらすことができる。

効果
ビデオカメラ及びモーションビデオへの拡張によって、フレーム間コヒーレンスを利用することによって動き推定を向上させることができる。２つ以上のカメラに対するオーバラップしたチョップによって、非常に微細な時間分解能が同様に可能になる。同様に、２つ以上の物体のオーバラップする動きからぶれを復号する方法によって、さらなる複雑な遮蔽効果が可能になる。

全体的な３次元動きを扱うことによって、部分的遮蔽の場合について説明したように、動きぶれの存在下でスローモーション「アクションリプレイ」系列に対して個々の画像パッチの不完全なサンプリングを使用することができる。

焦点及び深さもまた、２次元におけるぶれサイズに影響を与える。このため、符号化合焦を符号化露出と結合することによって、画像における最大化された局所分散に基づいて復号可能な深さマップをもたらすことができる。

超音波及びソナー
本発明による変調技法、サンプリング技法及び復号技法は、超音波及びソナー検知等の他の場でもあり得ることが留意されるべきである。そこでは、検知信号は、デバイスの制限のため、又はソナーデバイスが移動したため、ローパスフィルタリングされる。時間サンプリング符号を使用することによって、高周波数成分の減衰を低減することができる。

焦点
本発明による高周波数サンプリング技法を、入力画像にスミアをもたらす他のデバイスで使用することも可能である。たとえば、レンズの焦点が合わないことによって、ピンぼけしたぶれのある画像がもたらされる。レンズの正面に高周波数パターンを配置することによって、後の復号プロセス中に焦点が合った鮮鋭画像を回復することができるように、ピクセルぶれを符号化することができる。

ＰＳＦ計算
符号化露出は、ＰＳＦ推定の達成をより容易にする。平坦ぶれでは、動き推定は、単一フレーム内では比較的困難である。符号化露出は高周波数成分のより多くを保存するため、フレーム内オプティカルフロープロセスを適用することができる。画像系列及びビデオからの動きを分析するいくつかの技法が知られている。符号化露出ビデオカメラは、オプティカルフロー、ＰＳＦ推定及び画像安定化に関して結果を大幅に向上させることができる。連続フレームのコヒーレンスを利用することによって、新たなレンダリング効果も可能である。コヒーレンスを改善された背景モデリングに使用することによって、復号動作中に背景シーンにおける干渉を低減することができる。

カメラ
一実施態様では、外部からトリガされるシャッタを使用する。内部実施態様は、大域的に分散されたチョップ信号に従ってセンサのピクセルレベルで入射光の積分を開始し停止することができる。

この場合、Ｒピクセル、Ｇピクセル及びＢピクセルは、より微細な時空間分解能に対し、ベイヤグリッド、すなわちカラーセンサインタリービングを利用する異なる２値符号を使用することができる。符号を一定に保持することができるか、又は符号長を、フレーム内動きに基づいて適応的に選択することができる。符号を、制御されたストロボ照明フラッシュに対して使用することができる。このように、本明細書で説明する技法を、物体が非常に高速で動いているアプリケーションで使用することができる。ストロボプリフラッシュは、シーン分析及び赤目除去に有効であり得る。極めて短いフラッシュ持続時間は、通常、シーン動きを静止させる（freeze）ために使用されるが、符号化フラッシュ系列は、動き検知を制御するさらなる能力を提供する。

しかしながら、符号化フラッシュ系列を用いる動きのＰＳＦは、周囲光の存在によって変更される。結果は、２つのＰＳＦ、すなわち周囲照明による平坦ぶれと、ストロボ光による符号化ぶれとの一次結合である。ＰＳＦが直交符号化される場合、平坦ぶれと符号化ぶれとの両方を別々に回復することが可能になる。同様に、マルチカメラ、マルチ照明構成における符号化フラッシュと符号化露出との結合は、移動シルエットの回復、自己陰影効果及び遮蔽順序付けのために有用であり得る。

図１Ａ、図１Ｂ及び図１Ｃにおけるカメラに、手動制御のための「動きつまみ」１７０を備えることができる。オートフォーカスシステムと同様に、カメラは「自動はためき」機能を有することもでき、そこでは、カメラ電子回路は、実行中に、最良の符号系列長及び持続時間を確定することができる。図１Ｃに示すような本発明の実施形態の場合、つまみ１７０を使用して、符号化フラッシュ系列を設定するようにフラッシュコントローラ１４２を手動で制御することができる。超音波センサ又は補助低解像度カメラは、物体動きを検出して測定することによってはためきをトリガすることができる。

分析
本発明の実施形態による逆畳み込み出力を従来の方法と比較することは有益である。

雑音
本発明による復号プロセスにおける雑音は、主に高周波数成分の増幅による。符号化ＰＳＦは保存されるが、最低周波数成分以外の周波数成分すべてを適度に減衰させる。線形システムＡｘ＝ｂの場合、独立し且つ同一に分散された雑音及び分散σ^２を想定すると、ｘの共分散行列Ｃ_ｘは以下の式によって与えられる。

５２個のチョップ系列１８３の場合、結果としての行列Ｃ_ｘは略対角であり、最大対角エントリは、１００ピクセルから１０００ピクセルまでにわたる物体サイズの場合、７７に等しい。このため、雑音増幅はおよそ１８ｄｂである。比較すると、平坦ぶれの場合、Ｃ_ｘの最大値は１４７４．９であり、それは４１．６ｄｂの雑音増幅を与える。

本発明による方法は、単一チョップ内での動きに関して画像のぶれを除去することができる。取り込まれた画像を単一チョップすなわちＴ／ｍ秒の露出と比較する。符号化露出に対する累積露出時間はおよそＴ／２であるため、ＳＮＲは、ぶれ領域においてｍ／２だけ向上する可能性がある。しかしながら、短露出撮像に関する重要な利点は、動きぶれのないエリアにあり、それはぶれを除去される必要がない。本発明によるシステムは、雑音が低減した鮮明な画像を記録することができる。

分解能
２値符号選択は、システムの性能に非常に影響を与える。長い符号、すなわち大きいｍは、露出時間を細かく再分化し、大量のぶれを復号することができるが、わずかな量のぶれには有効でない。反対に、短い符号はチョップ毎に持続時間が長く、単一チョップ内のぶれは解決することができない。ぶれのあり得る最良のサンプリングを達成するために、比ｋ／ｍを１ピクセル／チョップよりわずかに大きく維持することが望ましい。

発明の効果
はためく露出シーケンスを介するぶれ除去にはいくつかの利点がある。天文学又は断層撮影法で使用される方法等の符号化撮像方法は、通常、人間の観察者には意味のない生画像を検知する。好都合なことに、本発明の場合、符号化露出画像は、正しく復号されない場合であっても有用である。平坦ぶれと比較して、画像は、最悪の場合、半分の強度で半分ぶれる。符号化系列は、より複雑な連続不透明度制御とは対照的に２値不透明度をトグル（toggle）すればよいため、実装が容易である。デジタルカメラでは、２値切替えプロセスを、シャッタを用いて直接実装することができるか、又は検知チップ自体に実装することができる。

本発明の実施形態は、画像の実際的なぶれ除去を可能にするように、カメラの積分の時間パターンの変更を提供する。時間領域における選択されたはためき系列は、動いている物体に対し空間領域においてより高い周波数を保存する。

本発明を、好ましい実施形態の例として説明したが、本発明の精神及び範囲内で他のさまざまな適応及び変更を行うことができるということが理解されるべきである。したがって、添付の特許請求の範囲の目的は、本発明の真の精神及び範囲内にある変形及び変更をすべて包含することである。

本発明の実施形態によるぶれ除去カメラの概略図である。 本発明の実施形態によるぶれ除去カメラの概略図である。 本発明の実施形態によるぶれ除去カメラの概略図である。 本発明の一実施形態による画像のぶれを除去する方法の流れ図である。 経時的に動いている物体及び結果としての強度プロファイルの概略グラフである。 本発明の一実施形態による、未知の画像をぶれのある画像に変換する線形システムの概略図である。 図４Ａは本発明の一実施形態によるぶれのある画像の図であり、図４Ｂは図４Ａの画像に対応するぶれが除去された画像の図である。 本発明の一実施形態による境界ボックスを有する画像の図である。 本発明の一実施形態による切抜きを有する画像の図である。 本発明の一実施形態によるボケ効果を有する画像の図である。 本発明の一実施形態による動いている物体が重ね合わされている画像の図である。 図６Ａは遮蔽物体を有する画像の図であり、図６Ｂは図６Ａの遮蔽画像が除去された画像の図である。

Claims (28)

1. カメラによって取得されたシーンの画像におけるぶれを低減する方法であって、
   露出時間中に、カメライメージセンサによって取得され且つ積分されるシーンの光場を時間的に変調して、符号化入力画像を生成するステップと、
   前記符号化入力画像に対して最小二乗推定を用いた線形代数プロセスを実行することにより、前記符号化入力画像を復号して、ぶれが低減した復号出力画像を生成するステップと
   を含み、前記最小二乗推定を用いた線形代数プロセスは、ぶれが低減した復号出力画像を
   

   

   とすると、
   

   

   として解くものであって、ここで、Ｂは前記符号化入力画像、Ａは
   

   

   を満たす行列、Ａ ^＋ は最小二乗的な行列Ａの疑似逆行列、Ｘは所望のぶれのない画像、ηは前記符号化入力画像Ｂにおける雑音である
   方法。
2. 前記ぶれは、カメラの動きに起因する、請求項１に記載の方法。
3. 前記ぶれは、物体の動きに起因する、請求項１に記載の方法。
4. 前記ぶれは、カメラの動きと物体の動きとの組み合わせに起因する、請求項１に記載の方法。
5. 前記変調は離散型である、請求項１に記載の方法。
6. 前記変調は連続型である、請求項１に記載の方法。
7. 前記変調は、振幅変調、周波数変調、位相変調、パルス幅変調、不透明度変調、偏光変調、および、それらの組み合わせを含むグループの中から選択される、請求項１に記載の方法。
8. 前記変調は、前記露出時間中に、カメラのシャッタの開閉を繰り返すことにより行われる、請求項１に記載の方法。
9. 前記変調は、前記露出時間中に、カメラのシャッタの不透明度を繰り返し変化させることにより行われる、請求項１に記載の方法。
10. 前記変調は、前記露出時間中に、前記カメライメージセンサによる積分のオン・オフを繰り返し切り替えることにより行われる、請求項１に記載の方法。
11. 前記変調は、前記露出時間中に、カメラのシャッタを開状態にしたまま、前記シーンを照明しているフラッシュユニットのオン・オフを繰り返し切り替えることにより行われる、請求項１に記載の方法。
12. 前記変調は、前記露出時間中に、カメラのシャッタを繰り返し開閉することと、フラッシュユニットのオン・オフを繰り返し切り替えることの両方を行うことにより、行われる、請求項１に記載の方法。
13. 前記カメライメージセンサは、固体イメージセンサであり、ピクセルのアレイを含んでいる、請求項１に記載の方法。
14. 前記カメラは、一連の入力画像を生成するとともに、ぶれが除去された一連の出力画像を生成するように構成された、ビデオカメラである、請求項１に記載の方法。
15. 前記一連の中の異なる画像に対して、異なる時間的変調が用いられる、請求項１４に記載の方法。
16. 前記復号は、カメラの内部のプロセスによって実行される、請求項１に記載の方法。
17. 前記変調の結果としておこる点像分布関数は、前記シーンにおける、変調された光と動いている物体の空間的な動きの積分である、請求項１５に記載の方法。
18. 前記時間的変調は、前記シーンにおける動いている物体の比較的高い空間周波数を保存し、前記復号中にその空間周波数が回復されるように、選択される、請求項１に記載の方法。
19. 前記変調は、カメラのシャッタの疑似ランダムな一連の開閉動作に基づく、請求項１に記載の方法。
20. 動いている物体を含むシーンの画像におけるぶれを除去する装置であって、
    露出時間中に、カメラのセンサによって取得された、動いている物体を含むシーンの光場を時間的に変調して、符号化入力画像を生成する変調手段であって、前記変調は、前記光場の２値オン・オフ系列に基づくものである、変調手段と、
    前記符号化入力画像に対して最小二乗推定を用いた線形代数プロセスを実行することにより、前記符号化入力画像を復号して、ぶれが低減した復号出力画像を生成する復号手段と
    を含み、前記最小二乗推定を用いた線形代数プロセスは、ぶれが低減した復号出力画像を
    

    

    とすると、
    

    

    として解くものであって、ここで、Ｂは前記符号化入力画像、Ａは
    

    

    を満たす行列、Ａ ^＋ は最小二乗的な行列Ａの疑似逆行列、Ｘは所望のぶれのない画像、ηは前記符号化入力画像Ｂにおける雑音である
    装置。
21. 前記変調手段は、カメラのシャッタである、請求項２０に記載の装置。
22. 前記変調手段は、カメラの不透明なフィルタである、請求項２０に記載の装置。
23. 前記変調手段は、カメラのフラッシュユニットである、請求項２０に記載の装置。
24. 前記変調手段は、前記光場の取得中に、前記センサのオン・オフを切り替える、請求項２０に記載の装置。
25. 前記入力画像は、前記変調された光場の時間積分と物体の空間的動きとの間の畳み込みである、請求項２０に記載の装置。
26. 前記変調は、連続型である、請求項２０に記載の装置。
27. 前記変調は、離散型である、請求項２０に記載の装置。
28. 前記２値オン・オフ系列は、
    １０１００００１１１０００００１０１００００１１００１１１１０１１１０１０１１１００１００１１００１１１
    である、請求項２０に記載の装置。

Images