JP5182380B2 - ボケ補正装置、撮像装置およびボケ補正方法 - Google Patents

Description

通常カメラは一つ以上被写体を含む景色の画像を撮像するのに使用される。残念にも、その画像の幾つかはボケ（ブレ）ている。例えば、カメラの露光時間中にカメラを動かしたり、景色の中の被写体が動いたりすると、主として動く方向に画像の中で動きボケ（モーション・ボケ（ブレ））を起す。

ボケ画像のボケを低減する為の幾つかのディコンボリューション（逆畳込み積分）方法がある。これらの方式はボケを表わす点像分布関数（ＰＳＦ）を明らかにするか若しくはＰＳＦを推定するかのどちらか一方が必要である。一般的に、ＰＳＦを推定する方式はボケ方向などの一定のボケパラメーターに関する十分な初期推測を必要とする。

本発明は、ボケ画像に於けるモーション・ボケの方向を推定する方法に関する。本方法は、第一テスト画像に人為的にボケを創生する為に第一テスト方向に沿ってボケ画像をボケさせ、第二テスト画像に人為的にボケを創生する為に第二テスト方向に沿ってボケ画像をボケさせ、テスト画像を評価しボケ方向を推定することを含む。概要として、或る実施形態に於いて、モーション・ボケの大勢を占めるボケ方向を推定する為に提案された方法は複数の異なるテスト方向にボケ画像をボケさせ、追加のボケでボケ画像の変化が最も少なくなるテスト方向を推定する。この方法の背後にある主な考えは、ボケ画像に対しボケ方向と同じテスト方向に追加ボケを与えれば、画像外観の違いは相対的に小さくなるというもので、ボケ画像に対しボケ方向と全く異なるテスト方向に追加ボケを与えると、画像外観の違いは相対的に大きくなる。

以上の通り、テストのボケを多くのテスト方向で画像に与える。その後、結果的に一番変化の小さいテスト方向がボケ方向として決めることが出来る。

本発明の一実施形態は、撮像画像を撮像する撮像部と、前記撮像画像に第１方向のボケを加えた第１ボケ画像、前記撮像画像に第２方向のボケを加えた第２ボケ画像、及び、前記撮像画像に第３方向のボケを加えた第３ボケ画像を生成するボケ画像生成部と、前記第１ボケ画像、前記第２ボケ画像及び前記第３ボケ画像のうち、前記撮像画像とのボケ差が最も小さい画像に加えられたボケの方向と、前記撮像画像とのボケ差が最も大きい画像に加えられたボケの方向に直交する方向とを用いて、前記撮像画像に含まれるボケを推定するボケ推定部と、前記ボケ推定部の推定結果を用いて、前記撮像画像に含まれるボケを補正する補正部とを有することを特徴とするボケ補正装置である。
また、本発明の一実施形態は、上述のボケ補正装置を含むことを特徴とする撮像装置である。

また、本発明の一実施形態は、撮像画像を撮像する撮像ステップと、前記撮像画像に第１方向のボケを加えた第１ボケ画像、前記撮像画像に第２方向のボケを加えた第２ボケ画像、及び、前記撮像画像に第３方向のボケを加えた第３ボケ画像を生成するボケ画像生成ステップと、前記第１ボケ画像、前記第２ボケ画像及び前記第３ボケ画像のうち、前記撮像画像とのボケ差が最も小さい画像に加えられたボケの方向と、前記撮像画像とのボケ差が最も大きい画像に加えられたボケの方向に直交する方向とを用いて、前記撮像画像に含まれるボケを推定するボケ推定ステップと、前記ボケ推定ステップによる推定結果を用いて、前記撮像画像に含まれるボケを補正する補正ステップとを有することを特徴とするボケ補正方法である。

本発明の新規的特徴及び発明自体の、構造及び操作に関しては、同一の引用符号が同一の部分を示している添付記載と添付図面と併せて最も良く理解できる。

景色、本発明の特徴を有する撮像装置、並びにボケ画像に関する簡略図である。 図１の簡略化した撮像装置の正面透視図である。 ボケ画像、人為的にボケさせた第一テスト画像、人為的にボケさせた第二テスト画像、並びに人為的にボケさせた第三テスト画像を示す。 ボケ画像と補正画像を示す。 別のボケ画像、別の人為的にボケさせた第一テスト画像、別の人為的にボケさせた第二テスト画像、並びに別の人為的にボケさせた第三テスト画像を示す簡略図。 本発明の特徴を有するシステムに関する別の実施形態を示す。

図１は本発明の特徴を有する撮像装置１０と景色１２の簡略化した透視図である。撮像装置１０はボケ１６（太い波線で表示）が存在することがある生の（未加工の）撮像画像１４（撮像装置１０から離して図示）を撮像する。一つの実施形態に於いて、撮像装置１０はボケ画像１４中のモーション・ボケの未知の方向２０（矢印で図示）を推定する独自の方法を使用する制御系１８（仮想線で図示）を含む。或る実施形態では、ボケ画像１４中のボケ方向２０の情報により、その画像１４中のボケ１６の量を正確に低減する事が出来る。

概要を述べると、一つの実施形態に於いて、モーション・ボケ１６の大勢を占めるボケ方向２０を推定する為に提案された方法は幾つかの異なるテスト方向に撮像画像１４をボケさせ、追加のボケでボケ画像１４の変化が最も少なくなるテスト方向を見つける。この方法の背後にある主な考えは、ボケ画像１４に対しボケ方向２０と同じテスト方向に追加ボケを与えれば、画像外観での違いは相対的に小さくなるというもので、ボケ画像１４に対しボケ方向２０と全く異なるテスト方向に追加ボケを与えれば、画像外観での違いは相対的に大きくなる。

別の実施形態に於いて、本発明は撮像画像１４とボケさせた撮像画像との間の、画像外観に於ける最大の差異を生むボケ方向を探す。この方向とはボケの方向と最も違う方向、つまり、ボケの方向に対し直交する方向である。

更に、別の実施形態に於いて、ボケ方向は、（１）一番変化の少ない結果を生じるテスト方向を、第一見込み方向として選ぶことと、（２）一番変化の大きい結果を生じるテスト方向に対し直交する方向を、第二見込み方向として選ぶことと、（３）ボケ方向推定の信頼性（ロバスト性）を上げる為、ボケ方向の推定には、前記第一見込み方向と前記第二見込み方向とを使用（例えば、平均化）することと、によって推定される。

撮像装置１０により撮像される景色１２の種類は多岐に亘る。例えば、景色１２には一つ以上の被写体２２、例えば、動物、植物、哺乳動物、その他環境等がある。簡単にするために、図１では、景色１２には一つの被写体２２を含む様に図示してある。別な例では、景色１２には一つ以上の被写体２２を含められる。図１に於いて、被写体２２は簡略化した人物の棒線画である。

ボケ画像１４の撮像中に撮像装置２０を動かしたり、景色１２の中の被写体２２が動いたりすると、主としてボケ方向２０にボケ画像１４中にモーション・ボケ１６を引起こすことに留意しなければならない。例えば、図１に於いて、ボケ画像１４を撮像いている露光時間中、実質的にモーション方向２４（矢印で図示）に沿って、撮像装置１０は動かされた。その結果、ボケ画像１４に、モーション方向２４に対応するボケ方向２０のボケ１６が出る。

モーション方向２４は通常の場合ランダム（任意）であって、且つその方向は図１に図示されたものとは違うことに留意しなければならない。例えば、モーション方向２４は上下でも良い。このモーションは一様で無い直線的モーションでも良い。更に、このモーションは非直線的でも良い。

図２は撮像装置１０の非排他的一実施形態を簡略化した正面透視図である。本実施形態に於いて、撮像装置１０はデジタルカメラで、制御系１８（箱として仮想線で図示）の他に、筐体２３６、光学組立品２３８並びに撮像系２４０（箱として仮想線で図示）を含む。これら構成品のデザインは、撮像装置１０に関する設計上の必要要件とその種類に合わせて変えられる。更に、この撮像装置１０を、これら構成品の一つ以上を欠いて設計することが可能である。追加的に又は代替的に、撮像装置１０を、景色１２の動画を撮像するよう設計することも出来る。

筐体２３６は堅牢で、撮像装置１０のその他構成部品の少なくとも幾つかの保持する事が出来る。一つの実施形態に於いて、筐体２３６は、当該カメラのその他構成部品の少なくとも幾つかを、収納保持する空洞を形成する概して長方形形状の中空体を含む。

筐体２３６は、撮像系２４０に達する光量を制御する為に、協調して作動する絞り２４４とシャッター２４６を含められる。シャッター機構２４６は、シャッターボタン２４８で作動する。シャッター機構２４６は、撮像系２４０上で一定の時間の間に光が焦点を結べるようにすべく互いに連動して作動する一組のブラインド（時々「ブレード」と称される）を含む事が出来る。また、例えば、シャッター機構２４６は、全て電子的に作動し、可動部材を全く有しなくても良い。例えば、電子撮像系２４０は前記ブラインドの機能性に倣うよう、撮像時間を電子的に制御させる事が出来る。

光学組立品２３８は、光を撮像系２４０上で合焦させる為の単レンズ若しくは互いに連動して作動するレンズの組み合わせを含む。一つの実施形態に於いて、撮像装置１０は、撮像系２４０が被写体の最も鮮明と見込める画像を捉える迄、光学組立品２３８の一つ以上のレンズを手前又は遠方へ動かす一つ以上のレンズ駆動体を含む自動焦点装置（不図示）を含む。

撮像系２４０は生のボケ画像１４（図１に図示）の情報を得る。撮像系２４０のデザインは撮像装置１０の種類によって変えられる。デジタルカメラの場合、撮像系２４０は画像センサー２５０（仮想線で図示）、フィルター２５２（仮想線で図示）及び、記憶系２５４（仮想線で図示）を含む。

画像センサー２５０は絞り開口２４４を通過する光を受光し、その光を光電変換する。デジタルカメラ用画像センサー２５０に関する非排他的一例として、電荷結合素子（ＣＣＤ）が知られている。デジタルカメラに採用できる別の画像センサー２５０として、相補型金属酸化膜半導体（ＣＭＯＳ）技術を利用したものがある。

画像センサー２５０は、それ自身によって、画像センサー２５０面に入射する光の総量の記録のみを行いながら、グレースケール画像を生成する。従って、フルカラーの画像を生成するために、一般的にフィルター組立品２５２を使って画像の色を得る。

記憶系２５４は、様々な生の画像１４（図１に図示）や一つ以上の補正画像４５５（図４に図示）を、最終的にこれら画像が印刷、削除、転送、若しくは補助記憶装置又はプリンターにダウンロードされるまで、記憶する。記憶系２５４は、筐体２３６に固定的若しくは可動可能に装着できる。最適な記憶系２５４の非排他的例として、フラッシュメモリー、フロッピーディスク（登録商標）、または書込み可能なＣＤやＤＶＤを含む。

制御系１８は撮像装置１０の電子構成部分品に電気的に接続されており、そしてそれらの操作を制御する。制御系１８は、一つ以上のプロセッサー及び回路を含み、此処に記載する機能を一つ以上行なうようプログラムされる事が出来る。図２に於いて、制御系１８は筐体２３６と撮像装置１０のその他構成部分品に確実に固定される。更に、制御系１８は筐体２３６内に置かれる。

実施形態に於いて、制御系１８は、ボケ画像１４中のモーション・ボケ１６のボケ方向２０を推定するソフトウェアを含む。更に、制御系１８は、補正画像４５５を創生する為に、ボケ画像１４中のボケ１６を低減するソフトウェアを含められる。

図１に戻り、撮像装置１０は、ボケ画像１４や補正画像４５５（図４に図示）を表示する画像表示器５６を含む。これにより、画像１４と４５５のどちらを記憶し、画像１４と４５５のどちらを削除すべきかをユーザーは決めることが出来る。図１に於いて、画像表示器５６は撮像装置１０の他の箇所に固定的に装着されている。もしくは、画像表示器５６は、表示器５６が旋回可能に蝶番型装着方式（不図示）で確りと固定されている。画像表示器２５６に関する非排他的一例として、ＬＣＤの画面を含む。

更に、画像表示器５６は、撮像装置１０の機能制御に使用するその他情報を表示する事が出来る。

更に、撮像装置１０は、使用者が撮像装置１０の機能を制御出来る、制御系１８と電子的に接続された一つ以上の制御スイッチ５８を含められる。例えば、制御スイッチ５８の一つ以上を使って、撮像装置１０を、此処に示すボケ方向２０推定処理やボケ取り除き処理に選択的に切り替える事が出来る。

図３はボケ画像１４、人為的にボケさせた第一テスト画像３６０、人為的にボケさせた第二テスト３６２及び、人為的にボケさせた第三テスト画像３６４を示す。この実施形態に於いて、第一テスト画像３６０は、第一テスト方向３６０Ａ（矢印で図示）に人為的にボケさせたボケ画像１４で、第二テスト画像３６２は、第一テスト方向３６０Ａと異なる第二テスト方向３６２Ａ（矢印で図示）に人為的にボケさせたボケ画像１４で、第三テスト画像３６４は、前記第一テスト方向３６０Ａ並びに前記第二テスト方向３６２Ａと異なる第三テスト方向３６４Ａ（矢印で図示）に人為的にボケさせたボケ画像１４である。上で簡単に述べたとおり、モーション・ボケ１６の大勢を占める未知のボケ方向２０を推定する為に提案された方法は、異なるテスト方向３６０Ａ，３６２Ａ及び３６４Ａ方向にボケ画像１４をボケさせることと、追加ボケ３６６でボケ画像１４が最も少なく変化するテスト画像３６０Ａ，３６２及び３６４の何れかを見つけ出すことと、を基礎にしている。

推定に使用するテスト画像３６０，３６２及び３６４の数やテスト方向３６０Ａ，３６２Ａ並びに３６４Ａの違いは此処で開示する内容により変わる。一般的には、推定精度はテスト画像３６０，３６２及び３６４の数が多くなるに従って上がるが、創生したテスト画像３６０，３６２及び３６４の数が増加するに伴い演算の複雑さも上がる。図３では、簡単のために、テスト画像は３６０，３６２及び３６４の三種類のみを設け、テスト方向３６０Ａ，３６２Ａ及び３６４Ａは約１２０度（°）離れた向きで置いた。別の非排他的実施形態に於いては、１０、２０、３０、３６、７２又は３６０種のテスト画像３６０、３６２及び３６４が創生され、テスト方向３６０Ａ，３６２Ａ並びに３６４Ａは約３６、１８、１２、１０、５又は、１度（°）の間隔を空けて置かれる。

一例として、ボケ画像１４が単色の画像の場合、一個の画素行列（ｐｉｘｅｌｍａｔｒｉｘ，ピクセルマトリクス）として表わす事が出来る。また、ボケ画像１４がカラー画像の場合、三つの画素行列、例えば、赤の画素路行列（ｃｈａｎｎｅｌｐｉｘｅｌｍａｔｒｉｘ，チャネルピクセルマトリクス）、緑の画素路行列並びに青の画素路行列で表わす事が出来る。一つの実施形態に於いて、各画素の輝度は０から２５５迄の数値で表わす。この表わし方は通常カメラで処理済みの画像にのみ適用することに留意しなければならない。但し、センサーが撮像した生画像は一般的には１２若しくは１４バイトの画像、つまり、夫々０から４０９５若しくは１６３８３迄の値を持つ画像である。ボケ方向の推定を処理済み画像に適用出来るが、画像処理過程の一部として実装する事も出来る（画像を８ビット、即ち、０から２５５の値に縮小する前に）。

一つの実施形態に於いて、各テスト画像３６０、３６２及び３６４を夫々のテスト方向３６０Ａ，３６２Ａ及び３６４Ａに撮像したボケ画像１４を人為的にボケさせて発生させる。例えば、第一テスト画像３６０を発生させるには、ボケ画像１４に対し、水平方向のボケに対応するＰＳＦを表わす行列コンボルーション（畳込み積分）演算を行なう。よって、コンボルーション（畳込み積分）演算を行って、各テスト画像３６０、３６２及び３６４を創生する事が出来る。

此処に記述する通り、ボケ方向２０と同じ方向のテスト方向３６０Ａ，３６２Ａ又は３６４Ａのボケ画像１４に対して追加ボケ３６６を加えれば、画像外観での違いは相対的に小さくなる。一方、ボケ方向２０と全く異なる方向のテスト方向３６０Ａ，３６２Ａ又は３６４Ａのボケ画像１４に対して追加ボケ３６６を加えれば、画像外観での違いは相対的に大きくなる。従って、本発明により、各テスト画像３６０、３６２及び３６４をボケ画像１４と個別に比較して、テスト画像３６０、３６２及び３６４の夫々とボケ画像１４との間のボケ差を決定する。ボケ差が大きい場合、夫々のテスト方向３６０Ａ，３６２Ａ並びに３６４Ａはボケ方向２０と同じでなく、ボケ差が小さい場合、夫々のテスト方向３６０Ａ，３６２Ａ並びに３６４Ａはボケ方向２０と同じである。

例えば、前記第一テスト画像３６０をボケ画像１４と比較すると、前記第一テスト画像３６０とボケ画像との間には第一ボケ差３６８Ａが存在する。同様に、前記第二テスト画像３６２をボケ画像１４と比較すると、前記第二テスト画像３６２とボケ画像との間には第二ボケ差３６８Ｂが存在する。更に、前記第三テスト画像３６４をボケ画像１４と比較すると、前記第三テスト画像３６４とボケ画像との間には第三のボケ差３６８Ｃが存在する。

カラー画像の場合の非排他的一例として、前記第一ボケ差３６８Ａは、ボケ画像１４の各画素路行列に於ける各画素の輝度と前記第一テスト画像３６０の各画素路行列に於ける各画素の輝度とを比較することにより制御系１８（図１に図示）で求める事が出来る。前記第二及び第三ボケ差３６８Ｂ及び３６８Ｃも同様にして求める事が出来る。本例に於いては、ボケ差を、各画素路で、信頼性の高い方向推定を出来る限りで得るため、平均化された値で求める。しかし、この方法では演算的に非常に手間が掛かる。

別の例では、カラー画像を、例えば、三つの色画素路の平均値をとること、若しくは、これら３画素路の一つ（通常、緑色を使用）を選ぶことによって、先ず黒と白に変換する。次に、本方法を変換した黒と白の画像に適用する。

代替的に又は追加的に、一つ以上のボケ差値は、コンボルーション（畳込み積分）演算を使って得られたテスト画像３６０、３６２及び３６４に関して前回得たボケ差値からの補間情報により得ることが出来る。非排他的一実施形態に於いては、コンボルーション（畳込み積分）方法を使って５度（°）の間隔でテスト画像が得られる。続いて、補間を使って、テスト画像に関して前回得たボケ差値の間に１度（°）ずつ追加のボケ差値が得られる。

図３に図示した例に於いて、ボケ画像１４と第一テスト画像３６０とを比べると、第一テスト画像３６０は著しい追加的ボケ３６６を含んでおり、第一テスト画像３６０は大きな第一ボケ差値３６８Ａを有する。これは、第一テスト方向３６０Ａが、ボケ方向２０と大きく異なるためである。同様に本例に於いて、ボケ画像１４と第二テスト画像３６２とを比べると、第二テスト画像３６２は著しい追加的ボケ３６６を含んでおり、第二テスト画像３６２は大きな第二ボケ差値３６８Ｂを有する。これは、第二テスト方向３６２Ａが、ボケ方向２０と大きく異なるためである。更に、この例に於いて、ボケ画像１４と第三テスト画像３６４とを比較すると、第三テスト画像３６４は著しい追加的ボケ３６６は含んでおらず、第三テスト画像３６４は小さな第三ボケ差値３６８Ｃを有する。これは、第三テスト方向３６４Ａが、ボケ方向２０と酷似しているためである。

本例に於いて、第一ボケ差値３６８Ａと第二ボケ差値３６８Ｂは第三ボケ差値３６８Ｃより大きいので、第三テスト方向３６４Ａはボケ方向２０と同じであると制御系１８は推定する。よって、第三ボケ差値３６８Ｃが最適となる。大きなボケ差値と小さなボケ差値との差は画像の内容とその他多くの要素、例えば画像サイズにより変化することに留意すべきである。

また、二つの画像の違いの読取方法については各種の方法がある。結果として得られる値は同一の画像に於ける別々の方向での値を比較するのに使える実用的な数値若しくは記号で良い。

一つの実施形態に於いて、テスト画像３６０、３６２及び３６４の一部若しくは全てに関するボケ差３６８Ａから３６８Ｃを直接比較することが出来る。此処に記述する様に、最適な（本例では最小）ボケ差３６８Ａから３６８Ｃを持ったテスト画像３６０、３６２及び３６４のテスト方向３６０Ａ，３６２Ａ及び３６４Ａは撮像画像１４の未知のボケ方向２０と実質的に同一であると制御系１８が推定する。

本例に於いて、第一ボケ差３６８Ａと第二ボケ差３６８Ｂは第三ボケ差３６８Ｃより大きいので、第三テスト方向３６４Ａがボケ方向２０であると制御系１８が推定する。

言い換えると、第一ボケ差３６８Ａと第二ボケ差３６８Ｂは第三ボケ差３６８Ｃより大きいので、第一テスト方向３６０Ａと第二テスト方向３６２Ａはボケ方向２０と同一でない。

別の実施形態では、制御系１８が、最大のボケ差、例えば、撮像画像１４とボケの撮像画像との画像外観に於ける最大差異、を起すボケ方向を求める。この方向は、ボケ方向２０と最も異なる、即ち、ボケ方向２０に直交する、方向である。図３に於いて、第二ボケ差３６８Ｂは第一ボケ差３６８Ａと第三ボケ差３６８Ｃより大きい。本実施形態では、第二テスト方向３６２Ａに直交している方向３６３（破線で図示）がボケ方向として制御系１８に選ばれる。

更に別の実施形態では、制御系１８は、（１）結果的に最も小さな変化を起こすテスト方向（例えば、図３に図示した例の第三テスト方向３６４Ａ）を、第一見込み方向３６５Ａとして選択することと、（２）結果的に最も大きな変化を起すテスト方向と直交する方向３６３（例えば、図３に図示した例の第二テスト方向３６２Ａ）を、第二見込み方向３６５Ｂとして選択することと、（３）ボケ方向推定の信頼性を上げる為に、ボケ方向２０の推定には、第一見込み方向３６５Ａと第二見込み方向３６５Ｂを使う（例えば平均化する）ことと、によってボケ方向を推定する。

図４は、ボケ画像１４と補正画像４５５を図示している。本実施形態では、ボケ方向２０の推定後、制御系１８（図１に図示）は、補正画像４５５を創り出す為に、ボケ画像１４に於けるボケ１６を標的とする一つ以上のボケ除去技術（ｄｅｂｌｕｒｒｉｎｇｔｅｃｈｎｉｑｕｅ）を行う。例えば、補正画像４５５の創生にはボケ画像１４に対し加速したルーシー・リチャードソン・ディコンボルーション（逆畳込み積分演算）を行なう。本例では、補正画像４５５は撮像画像１４に比べ、著しくボケ１６が少ない。

画像のボケを除去する為にはＰＳＦ（画像がどの程度ボケているかを示す関数）を知らねばならない。モーション・ボケの場合、モーションは一様で直線的な（リニア）モーションであることがよく前提となる（実際には、比較的小さなボケにのみ通用する前提だが）。この場合、ＰＳＦを見出すには、ボケ方向とボケ長さを推定しなければならない。本発明はモーション・ボケの方向を決定することに関する。ボケ長さを推定するのに別の方法を必要とすることもある。

所謂「目隠し（ブラインド・）ディコンボルーション方式」では、ＰＳＦは未知であると見なし、ＰＳＦの発見と、ボケを除去した画像の創生との、両方を同時に行なう。これらの方法は、一般的には相方向の方法で、ＰＳＦに関し何らか初期推測を必要とし、この方法が成功する為には、この初期推測は、実際のＰＳＦに十分に近似している必要がある。ボケ方向を知ることは、良好な初期推測を得る助けになる。

図５は、別のボケ画像５１４、別の人為的にボケさせた第一テスト画像５６０、別の人為的にボケさせた第二テスト画像５６２、及び別の人為的にボケさせた第三テスト画像５６４、の簡略図である。本例に於いて、ボケ方向２０は、図１に図示のボケ方向とは若干異なる。具体的には、本例に於いて、撮像装置１０（図１に図示）を、直線的モーション（動き）の代わりに、若干円弧状の非直線的モーションで動かす。

本実施形態に於いて、ボケさせた撮像画像５１４に対し、夫々のボケテスト方向５６０Ａ，５６２Ａ並びに５６４Ａにボケ１６を与えて、テスト画像５６０、５６２並びに５６４を再び得る。引き続いて、各テスト画像５６０、５６２並びに５６４から、ボケ差５６８Ａから５６８Ｃを再び算出する。最後に、最適な（この例では最小の）ボケ差５６８Ａから５６８Ｃを持った、テスト画像５６０、５６２並びに５６４に関する、テスト方向５６０Ａ，５６２Ａ並びに５６４Ａが、撮像画像５１４に於けるボケ方向２０であると、制御系１８（図１に図示）が推定する。

本例では、第三ボケ差５６８Ｃが再び最適（例えば、最小のボケ差）で、制御系１８は、第三テスト方向５６４Ａを、ボケ方向５２０として再び推定する。ボケ方向５２０の情報により、ボケ画像５１２は、精度良くボケを除去される。

本例に於いては、非直線的モーション・ボケ５２０でも、直線的モーション・ボケの一般的な方向をある程度推定することが出来る事に注目しなければならない。実際、ボケは常に殆ど非直線である。比較的短いボケによくある様に、ボケがわずかに非直線である場合に、画像からボケを除去する為に、ボケの凡その長さと方向を推定して直線的で一様なモーション・ボケのＰＳＦを使う事が出来る。これは厳密なＰＳＦではないが、十分に有効な近似値となり得る。ボケが酷く非直線である場合には、ＰＳＦを、相当のブラインド（目隠し）ディコンボルーション方法で推定する必要がある。この場合、予備のボケ方向を知ることが、当該方法が必要とするＰＳＦの有効な初期推定を得る助けとなる。

更に、本発明は画像をボケさせることをベースにしているので、ノイズに対し極めて信頼性が高い。

更に、静止画や動画に於ける圧縮による副作用を取り除く為のアルゴリズムの品質評価の一部としてこの発明に係る方法を使うことが出来る。

図６は、本発明の特徴を有する推定系６７０の、別な実施形態を図示している。本実施形態では、撮像装置１０はボケ画像１４（図１に図示）を再度撮像する。但し、本実施形態では、ボケ画像１４を、ボケ方向を推定する為に、此処に記載の推定方式を使用するコンピューター制御系６１８（仮想線で図示）を含むコンピューター６７２（例えば、パーソナルコンピューター等）に転送する。更に、コンピューター制御系６１８はボケ画像１４のボケを取り除き、補正画像４５５（図４に図示）を創生する。

本発明は此処で詳細を開示する一方、此処での本発明の好ましい実施形態は単なる説明的なもので、且つ付記してある特許請求の範囲に記載したものを除いて、此処に示された構成もしくはデザインの詳細を何ら限定するものでないことを理解すべきである。

Claims (9)

1. 撮像画像を撮像する撮像部と、
   前記撮像画像に第１方向のボケを加えた第１ボケ画像、前記撮像画像に第２方向のボケを加えた第２ボケ画像、及び、前記撮像画像に第３方向のボケを加えた第３ボケ画像を生成するボケ画像生成部と、
   前記第１ボケ画像、前記第２ボケ画像及び前記第３ボケ画像のうち、前記撮像画像とのボケ差が最も小さい画像に加えられたボケの方向と、前記撮像画像とのボケ差が最も大きい画像に加えられたボケの方向に直交する方向とを用いて、前記撮像画像に含まれるボケを推定するボケ推定部と、
   前記ボケ推定部の推定結果を用いて、前記撮像画像に含まれるボケを補正する補正部と
   を有することを特徴とするボケ補正装置。
2. 請求項１に記載されたボケ補正装置であって、
   前記ボケ推定部は、前記第１ボケ画像、前記第２ボケ画像及び前記第３ボケ画像のうち、前記撮像画像とのボケ差が最も小さい画像に加えられたボケの方向と、前記撮像画像とのボケ差が最も大きい画像に加えられたボケの方向に直交する方向とを平均化することにより、前記撮像画像に含まれるボケを推定する
   ことを特徴とするボケ補正装置。
3. 請求項２に記載されたボケ補正装置であって、
   前記ボケ画像生成部は、ＰＳＦを表す行列コンボルーション演算により、前記第１ボケ画像、前記第２ボケ画像及び前記第３ボケ画像を生成する
   ことを特徴とするボケ補正装置。
4. 請求項３に記載されたボケ補正装置であって、
   前記補正部は、前記ボケ推定部の推定結果を用いてディコンボルーション演算を行うことにより前記撮像画像に含まれるボケを補正する
   ことを特徴とするボケ補正装置。
5. 請求項１乃至請求項４の何れか１項に記載されたボケ補正装置を含むことを特徴とする撮像装置。
6. 撮像画像を撮像する撮像ステップと、
   前記撮像画像に第１方向のボケを加えた第１ボケ画像、前記撮像画像に第２方向のボケを加えた第２ボケ画像、及び、前記撮像画像に第３方向のボケを加えた第３ボケ画像を生成するボケ画像生成ステップと、
   前記第１ボケ画像、前記第２ボケ画像及び前記第３ボケ画像のうち、前記撮像画像とのボケ差が最も小さい画像に加えられたボケの方向と、前記撮像画像とのボケ差が最も大きい画像に加えられたボケの方向に直交する方向とを用いて、前記撮像画像に含まれるボケを推定するボケ推定ステップと、
   前記ボケ推定ステップによる推定結果を用いて、前記撮像画像に含まれるボケを補正する補正ステップと
   を有することを特徴とするボケ補正方法。
7. 請求項６に記載されたボケ補正方法であって、
   前記ボケ推定ステップは、前記第１ボケ画像、前記第２ボケ画像及び前記第３ボケ画像のうち、前記撮像画像とのボケ差が最も小さい画像に加えられたボケの方向と、前記撮像画像とのボケ差が最も大きい画像に加えられたボケの方向に直交する方向とを平均化することにより、前記撮像画像に含まれるボケを推定する
   ことを特徴とするボケ補正方法。
8. 請求項７に記載されたボケ補正方法であって、
   前記ボケ画像生成ステップは、ＰＳＦを表す行列コンボルーション演算により、前記第１ボケ画像、前記第２ボケ画像及び前記第３ボケ画像を生成する
   ことを特徴とするボケ補正方法。
9. 請求項８に記載されたボケ補正方法であって、
   前記補正ステップは、前記ボケ推定ステップによる推定結果を用いてディコンボルーション演算を行うことにより前記撮像画像に含まれるボケを補正する
   ことを特徴とするボケ補正方法。

Images