WO2006038334A1

WO2006038334A1 - 画像撮像装置及び画像復元方法

Info

Publication number: WO2006038334A1
Application number: PCT/JP2005/007882
Authority: WO
Inventors: Naoyuki Fujiyama; Tetsuya Kuno; Kazuhiro Sugiyama
Original assignee: Mitsubishi Denki Kabushiki Kaisha
Priority date: 2004-09-30
Filing date: 2005-04-26
Publication date: 2006-04-13
Also published as: JP2006101447A; JP4250583B2; US7652689B2; US20080291286A1

Abstract

　デジタル・スチル・カメラ等において、電子式高速シャッターで撮影された第１の撮像画像と通常のシャッタースピードで撮像された第２の撮像画像の２枚の画像から、撮影時の手振れ量を算出し（５）、通常のシャッタースピードで撮像され、手振れにより劣化した画像をディジタル信号処理における画像復元アルゴリズムを適用することにより手振れの補正を行う（６）。手振れの影響を軽減するため、角速度センサ等、その出力の処理回路が不要となり、簡単な装置で手振れを補正することができる。

Description

明細書

画像撮像装置及び画像復元方法

技術分野

[0001] 本発明は、撮像時の手振れ等の影響により撮像画像が劣化した場合、その画像のぶれを補正し、手振れ等の影響のな!ヽ画像へ復元する画像撮像装置及び画像復元方法に関するものである。特に、デジタルスチルカメラや携帯電話などに搭載されているカメラの撮像装置に関するものである。

背景技術

[0002] 銀塩フィルムカメラやデジタルスチルカメラを手で持って被写体を撮影すると、手振れによってカメラが振れ、撮像された写真が手振れ方向に流れた劣化を受ける現象がある。そのため、従来の手振れを抑制するための方法として、光学系を駆動することで手振れを抑制し撮像する方法や、撮像センサを駆動することで手振れを抑制して撮像する方法がある。

[0003] 比較的手振れの抑制でよく用いられて、る手振れの動きをセンシングする装置として、角速度センサあるいは角加速度センサなどの各種センサを用いた装置が存在する。これらの装置はデジタルスチルカメラに備え付けられ、手振れの動き量や方向などの検出、予測等を行い、手振れを抑制して撮像する。

[0004] 従来、これらのセンサを用いた手振れ補正方法の例として特許文献 1があり、撮影レンズ光軸のぶれを角速度または揺動角加速度として検出するぶれ検出手段を備え、シャッターレリーズスィッチを押し下げると、上記ぶれ検出手段により検出されたぶれが極大値をとつた後、シャッター駆動機構にシャッターをレリーズさせ、これにより手振れ補正を可能としている。しかし、特許文献 1では、本来撮影者が意図するシャッターのタイミングから時間的にずれた状態で撮影が行われるため、実際には撮影者が撮ろうとしていたシーンとは異なるシーンを撮像するという課題があった。

[0005] 特許文献 2には、上記の課題解決策が開示されている。特許文献 2ではセンサと連写モードを複合しており、撮像装置により撮影された画像の手振れを補正する画像処理装置にお!、て、所定の時間間隔で連続的に被写体を撮影して複数の画像を取得する連写撮影部と、連続的な撮影のタイミングに従って撮像装置の手振れに関する手振れ情報を検出する手振れ検出部と、手振れ検出部により検出された手振れ情報と、連写撮影部により得られた複数の画像とに基づき、複数の画像のうち少なくとも一つ以上の画像について当該画像が有する手振れを補正する手振れ補正部とを有し、これにより手振れ補正を可能としている。

[0006] 特許文献 1 :特開平 5— 107622号公報 (第 2頁、第 2図）

特許文献 2 :特開 2002— 247444号公報 (第 3頁、第 1、第 2図）

発明の開示

発明が解決しょうとする課題

[0007] しかし、特許文献 1および特許文献 2に記載された技術では、手振れを検出するための角速度センサ等の検出手段およびそれを制御するための制御回路等が必要であり、装置構成が複雑になるという課題があった。

[0008] さらに、特許文献 1および特許文献 2では、手振れを補正することは可能であっても、その他のぶれは補正できな力つた。例えば、高速で走行する列車や自動車の車窓から車外の建物等を撮像する場合にも、手振れ時と同様のぶれが撮像画像に生じる力これはカメラがぶれたために生じたのではないため、角速度センサ等の検出手段では検出できず、したがって、ぶれを補正することは不可能であるという欠点があった課題を解決するための手段

[0009] 本発明は、第 1の電荷蓄積時間での第 1の画像の撮像と、前記第 1の電荷蓄積時間よりも長い第 2の電荷蓄積時間での第 2の画像の撮像を連続して行う撮像素子と、前記第 1及び第 2の画像間の関係が線形であるとの仮定に基づいて、前記第 1及び第 2の画像間の関係を推定する数学的画像モデル推定部と、前記推定した関係から、前記第 2の画像に生じた劣化を改善する画像復元部とを備えたことを特徴とする画像撮像装置を提供する。

発明の効果

[0010] 本発明によれば、手振れを測定するセンサを用いることなぐ画像のぶれを改善することができる。改善できる画像のぶれは、手振れによるものに限られず、高速移動体から、移動体外を撮影した場合に生じる画像のぶれも改善可能である。

図面の簡単な説明

[0011] [図 1]実施の形態 1における画像撮像装置の構成を示すブロック図である。

[図 2]実施の形態 1における画像撮像装置の撮像素子の駆動方法について説明した図である。

[図 3]実施の形態 1における画像復元手段の処理フローを示す図である。

[図 4]実施の形態 1におけるフレームメモリの構成を示す図である。

[図 5]実施の形態 1における数学的画像モデル推定部の構成を示すブロック図である

[図 6]実施の形態 1におけるディジタル信号処理による画像復元部の構成を示すプロック図である。

[図 7]実施の形態 1におけるディジタル信号処理による画像復元方法の中で逆フィルタリング時における逆フィルタの算出部の構成を示すブロック図である。

符号の説明

[0012] 1 撮像素子、 2 増幅手段、 3 AZDコンバータ、 4 フレームメモリ、 5 数学的画像モデル推定部、 6 画像復元部、 7 制御部、 8 タイミングジヱネレータ (TG)、 9 画像信号処理部、 31 入力端子、 32 入力端子、 33 出力端子、 41 次数設定部、 42 相互相関関数演算器、 43 自己相関関数演算器、 44 線形連立方程式解法演算器、 45 インパルス応答関数推定値修正部、 51 入力端子、 52 入力端子、 53 出力端子、 61 DFT演算器、 62 逆フィルタ算出部、 63 逆フィルタリング演算部、 64 IDFT演算器、 65 和演算部、 66 閾値設定部、 67 比較器、 68 スィッチ、 71 入力端子、 72 出力端子、 83 空間周波数領域表現変換器、 84 画像サイズ設定手段、 85 特徴抽出ォペレータ設定手段、 86 拘束条件付最小自乗フィルタ構成手段、 87 ラグランジュ未定乗数設定手段。

発明を実施するための最良の形態

[0013] 以下、図面を参照して本発明の実施の形態を説明する。以下に説明する実施の形態は、主に、デジタルスチルカメラにおける手振れ補正方法として用いるのに適したものであるが、他の撮像装置にも適用可能な技術である。

[0014] 実施の形態 1.

図 1は、この発明を実施するための実施の形態 1における画像撮像装置の構成を示すブロック図、図 2は画像撮像装置の撮像素子の駆動方法について説明した図、図 3はディジタル信号処理による画像復元手段の処理フローを示す図、図 4はフレームメモリの構成を示す図、図 5は第 1の撮像画像 (以後、「電子式高速シャッターによる撮像画像」と呼ぶ) PQと第 2の撮像画像 (以後、「通常のシャッタースピードによる撮像画像」と呼ぶ) PNの 2枚の画像を用いた手振れ量の計算を行うための数学的画像モデル推定部の構成を示すブロック図、図 6は、通常のシャッタースピードによる撮像画像 PNに対し、ディジタル信号処理による画像復元アルゴリズムを行う画像復元部の構成を示すブロック図である。

[0015] 図 1に本発明に係る画像撮像装置の構成図を示す。撮像素子 1は、 CCDセンサや CMOSイメージセンサ等の固体撮像素子にて構成されている。増幅手段 2は、撮像素子 1の出力信号を増幅する。 AZDコンバータ 3は、増幅手段 2の出力信号をディジタル信号に変換し、フレームメモリ 4へ出力する。フレームメモリ 4は、図 4に示すように 2つの画像格納領域を持ち、電子式高速シャッターによる撮像画像 PQと通常のシャッタースピードによる撮像画像 PNの 2枚の撮像画像を格納できる。数学的画像モデル推定部 5は、フレームメモリに格納されたこれら 2枚の撮像画像を受け取り、それぞれの画像を数学的画像モデルの入力と出力と仮定し、その数学的画像モデル (ィンパルス応答関数推定値)を推定し、モデルに含まれるパラメータを画像復元部 6〖こ出力する。すなわち、 2枚の撮像画像の数学的関係を推定し、インパルス応答関数推定値の修正値 MVを出力し、画像復元部 6に出力する。画像復元部 6は、数学的画像モデル推定部 5から数学的画像モデルに含まれるパラメータを受け取ると同時に、フレームメモリ 4から受け取った 2枚の撮像画像のうち、手振れの影響により画質が劣化して、る通常のシャッタースピードによる撮像画像 PNを改善し、復元画像 RP として出力する。フレームメモリ 4、数学的画像モデル推定部 5及び画像復元部 6から構成され、撮像画像を復元する信号処理部を画像信号処理部 9と呼ぶ。制御部 7は、撮像素子 1を駆動するための駆動波形を出力するタイミングジェネレータ 8 (以後、 TGと称する）を制御する制御信号と、画像信号処理部 9を制御する制御信号を出力する。撮像素子 1は TG8から出力される駆動波形によって駆動され、センサ上に結像された光学像を光電変換し、光電変換された電気信号を出力する。

[0016] 次に、図 2にもとづいて、撮像時における撮像素子 1の駆動方法について説明する。図 2において CCDと記載しているのは、撮像素子 1の電荷蓄積を示した図であり、斜線部が撮像素子 1内で光電変換を行、、その電荷を蓄積して、る時間を示してヽる。 VDは 1フレーム毎に 1つのパルスを発生する垂直パルスであり、画面の同期などに用いる。 OFDはオーバーフロードレインパルスであり、撮像素子 1に蓄積された電荷を捨てるための高圧のパルスであり、 OFDが加えられると蓄積された電荷は全て放電される。 TGはタイミングゲートパルスであり、蓄積された電荷を撮像素子 1の転送部へ読み出すパルスであり、読み出された電荷は FDA (Floating Diffusion A mplifier)によって電圧値へ変換後、出力されていく。よって、 OFD力も TGまでの時間が電荷蓄積時間となり、 OFDを TGパルスに近づけて、くと電荷蓄積時間が短くなる。これは、光学的シャッターを高速にきったことに相当し、電子式高速シャッターと称される。なお、一つの TGと次の TGの間に OFDが発生されなかった場合には、 T G相互間が電荷蓄積時間となる。

[0017] 図 2における最初のフレーム F1では、 OFDから TGまでの期間が、 1フレームの lZ nであり、 1フレームの lZn (nは整数）に相当する時間の電荷蓄積を行う。次のフレーム F2では 1フレームの時間（TGから次の TGまで）で電荷蓄積を行う。このように、 lZnフレーム時間 (第 1の電荷蓄積時間）、電荷蓄積を行う電子式高速シャッタースピードに相当する撮像と、 1フレーム期間 (第 2の電荷蓄積時間)電荷蓄積を行う通常のシャッタースピードに相当する撮像を連続して行うよう撮像素子 1を駆動させる。ここで、通常のシャッタースピードに相当する電荷蓄積時間を 1フレームとした力この時間は、十分な SNR (Signal to Noise Ratio：信号対雑音比）が得られる時間であれば良ぐ撮像素子 1の感度や、その暗電流特性等を勘案して、最適な時間を設定すれば良い。また、電子式高速シャッタースピードに相当する電荷蓄積時間を、通常のシャッタースピードに相当する電荷蓄積時間の n分の 1とした力 nが大きいほど、本発明における復元画像 RPの手振れ低減効果は大きくなる。一方、 nを大きくしすぎると、電子式高速シャッタースピードに相当する撮像画像の SNRが極端に悪くなり、数学的画像モデル推定時の精度が劣化してしまう。そのため、 nとして、 3から 10程度が適当である。さらにまた、ここで、 nを整数とした力これは現在普及している制御ドライバー等からの制限であり、本発明にとって、本質的な制約ではない。

[0018] 撮像の順序に関しては、最初に電子式高速シャッタースピードによる撮像を行い、その後に、通常のシャッタースピードによる撮像を行う方力撮影者のシャッタータイミング力遅れのない画像を最終的に得られるという利点がある力手振れの速度が大きくないときは、逆の順序も可能である。また、これら 2枚の撮像は、図 2に示したように連続して行うことが最良である力ハードウェア等からの制限で、 1フレーム程度の間隔があ!ヽて撮像しても、本発明の効果を損なうものではな、。

[0019] 以上のような撮像手法を用いることにより、電子式高速シャッターによる撮像に引き続き、通常のシャッタースピードによる撮像を行うことが可能となる。これらの撮像画像は瞬時に連続して撮像を行うため撮像内容に大きな違いは無いが、通常のシャツタ一スピードで撮像した画像は手振れによる影響を受けて劣化しやす、一方で、電子式高速シャッターにより撮像した画像は、露光時間が短、ため手振れの影響をほとんど受けない。

[0020] しかし、電子式高速シャッターによる撮像画像 PQは電荷蓄積時間が短、ため、非常に暗い画像として撮像されることに問題がある。特に SNRが悪くなるため、撮像画像中にはランダムな性質を持つ雑音を多く含み、ディジタル信号処理により正確に雑音除去を行うことが困難である。

[0021] 逆に、通常のシャッタースピードで撮像を行えば、一般的に電荷蓄積時間が適切となるので、 SNRの高い画像が撮像される。その一方で電荷蓄積時間が長いことから、撮像時のカメラの揺れである手振れが大きい場合、その影響により撮像画像が劣化する。手振れにより劣化した画像のみ力手振れ量を推定することは困難な問題であり、これまで多くの研究がなされている力実用化されている例は無い。

[0022] そこで、本発明者は、これら電荷蓄積時間の異なるほぼ同時に連続して撮像した 2 枚の画像の性質を考慮し、手振れの影響が無ぐかつ画質の良い撮像画像を得る撮像方法と復元処理方法を発明した。その処理フローを図 3に示し、詳細に述べる。

[0023] 本発明の撮像装置は、撮像に際して電子式高速シャッターにより画像を撮像し (S1 )、その直後に通常のシャッタースピードで被写体を撮像する（S2)。このとき、図 2のタイミングチャートに従って撮像が行われており、撮像を行っているユーザ自身が意識することなく 2枚の画像が撮像される。これら連続した 2枚の画像の撮像が終わると、電子式高速シャッターによる撮像画像 PQを参照し、通常のシャッタースピードによる撮像画像 PNの手振れ量を推定する（S3)。手振れ量と、あら力じめ設定しておいた閾値 Aを比較し、手振れレベルが小さぐ手振れ補正する必要が無ければ (S4で NO)手振れ補正処理を終了する。手振れ量が大きければ (S4で YES)、その手振れ量の推定値を用い、ディジタル信号処理における画像復元アルゴリズムを適用して、通常のシャッタースピードで撮像した手振れによる劣化を受けて、る画像を補正する（S5)。尚、閾値 Aは、人の視覚上、画像のぶれがほとんどないと感じるレベルに設定しておけば良い。

[0024] 以上のステップを踏むことにより、通常のシャッタースピードで撮像した画像に手振れによる劣化が存在した場合でも、手振れを補正し画質の良!ヽ画像を撮像することができる。

[0025] 次に、数学的画像モデル推定部 5における手振れ量の推定について説明する。

図 1の数学的画像モデル推定部 5では、通常のシャッタースピードで撮像された画像の手振れ量の推定を、速いシャッタースピードでほぼ同時に撮像した別の 1枚の画像を用いて行っている。その手法を、数学的に画像を表現した次の式（1)を用いて詳細に説明する。

[0026] [数 1]

[0027] 式（1)において i、 jは画素の位置を表しており、画面垂直方向に M画素、画面水平方向に N画素となるサイズの画像であれば、 i= l, · · · , MJ = 1, · ' · , Νとなる整数値を取る。 s は電子式高速シャッターによる撮像画像 PQの画素信号、 t は通常のシャッタースピードによる撮像画像 PNの画素信号、 V は通常のシャッタースピードに

1， ]

よる撮像時の付加的雑音成分、 h は手振れ量を示すインパルス応答関数、 Kより計

k, 1

算される (2K+ 1)はインパルス応答関数の画面垂直方向の次数、 Lより計算される（ 2L+ 1)はインパルス応答関数の画面水平方向の次数を表すとする。ただし、電子式高速シャッターによる撮像画像 PQおよび通常のシャッタースピードによる撮像画像 PNの平均値は 0であるとする。これはそれぞれの撮像画像の画素信号力もそれぞれの平均値、すなわち撮像素子 1から得られる撮像画像のバイアス値を計算し、各画素信号から平均値を引くことにより計算できる。このとき、電子式高速シャッターによる撮像画像 PQおよび通常のシャッタースピードによる撮像画像 PNの統計的性質で、これらの画像の期待値は平均値と等、 (エルゴード性)と仮定すると、 E [ · ]を'の期待値を表すものとして、 E[s ] =0、 E[t ] =0と表すことができる。さらに、付加的雑音 V には E[s V ] =0 (iaおよび jaは任意）の性質を仮定する。この仮定は、付カロ

1. ] 1， ] ia, ]a

的雑音が電子式高速シャッターで撮像される画像にほとんど依存しない事実力導かれた仮定である。このとき、式（1)において、両辺に s

1— ka, ]— laを乗じて期待値を計算することにより、 h に関する線形連立方程式が式（2)として得られる。

k, 1

[0028] [数 2]

- -,K la=—し… ) ( 2 )

[0029] 式（2)中の R (ka— k, la— 1)は電子式高速シャッターによる撮像画像 PQの自己

SS

相関関数を、 R (ka, la)は通常のシャッタースピードによる撮像画像 PNと電子式高

ts

速シャッターによる撮像画像 PQの相互相関関数を示している。このことから、電子式高速シャッターによる撮像画像 PQの自己相関関数と、電子式高速シャッターと通常のシャッタースピードによる撮像画像 PNの相互相関関数を計算することにより、インパルス応答関数で示された手振れ量 h を推定することができる。

k, 1

ここで、式（2)に含まれる自己相関関数 R (ka-k, la-1)と相互相関関数 Rts (ka

SS

, la)はそれぞれ式（3)、式 (4)により定義される。 [0030] [数 3]

[0031] [数 4]

" )

[0032] 以上に述べた手振れ量を示すインパルス応答関数の推定動作を、図 5に示すプロック図を用いて再び詳細に説明する。

[0033] 数学的画像モデル推定部 5には、フレームメモリ 4から、それぞれ、入力端子 31に電子式高速シャッターによる撮像画像 PQと、入力端子 32に通常のシャッタースピードによる撮像画像 PNが入力される。次に、手振れ量を示すインパルス応答関数の次数（2K+ 1)、（2L+ 1)を次数設定部 41で設定し、その次数を受けて、相互相関関数演算器 42では、電子式高速シャッターによる撮像画像 PQと、通常のシャッタースピードによる撮像画像 ΡΝを入力し相互相関関数 Rを計算する。また、次数設定部 4

ts

1で設定した次数 (2K+ 1)、（2L+ 1)を自己相関関数演算器 43に電子式高速シャッターによる撮像画像 PQとともに入力し、自己相関関数 R

ssを計算する。計算された相互相関関数 R と自己相関関数 R は、次数（2K+ 1)、（2L+ 1)とともに線形連立

ts ss

方程式解法演算器 44に入力し、その解 (インパルス応答関数推定値 EV)を求める。求められた解はインパルス応答関数推定値修正部 45に入力され、解の和が 1となるように正規ィ匕が行われる。正規化によって最終的に得られた手振れを示すインパルス応答関数 (インパル応答関数の修正値) MVは、出力端子 33から出力される。

[0034] ここで、インパルス応答関数推定値修正部 45につヽて述べる。線形連立方程式解法演算器 44は、撮像素子 1から得られる生画像のバイアス値の異なる 2枚の画像から算出を行うものであり、算出されたフィルタを画像に適用するとフィルタリング後の画像のバイアス値が異なってしまう。先述のように、手振れにより劣化している通常のシャッタースピードで撮像した画像は電荷蓄積時間が長く明るい。しかし、電荷蓄積時間の短い電子式高速シャッターによる撮像画像 PQを参照して手振れ量を推定した場合、手振れ補正を行うと電子式高速シャッターによる撮像画像 PQと同等のバイァス値を持つ暗い画像として補正されてしまう。このことを防ぐために、インパルス応答関数推定値修正部 45で正規ィ匕を行、、正規ィ匕の結果をインパルス応答関数の修正値 MVとして出力する。

[0035] 次に、電子式高速シャッターによる撮像画像 PQの画素信号 s と、通常のシャツタ，

一スピードによる撮像画像 PNの画素信号 t につ、て説明する。

，

数学的画像モデル推定部 5で手振れ量を示すインパルス応答関数を推定するために用いる 2枚の画像の画素信号は、 RGBにより表現される画像の R、 G、 Bのすベてを用いてもよいが、計算量削減のため一色のみを用いてもよい（例えば、 Gのみなど）。また、 YCbCrにより表現される画像であっても同様に推定を行うことができ、 RGBを用いた時と同様に、一種のみを用いた推定を行ってもよい（例えば、 Yのみなど)。

[0036] また、画像全体に含まれる M X N画素を用いる必要は無ぐ 2枚の画像中のある領域だけを用いて推定を行ってもよい。ただし、このときには制限があり、領域のサイズは手振れ量を示すインパルス応答関数の定義された範囲（2K+ 1) X (2L+ 1)より、垂直方向画素数、水平方向画素数ともに大きくなくてはならない。即ち、インパルス応答関数の画面垂直方向の次数（2K+ 1)よりも垂直方向画素数が大きぐインパルス応答関数の画面水平方向の次数（2L+ 1)よりも、水平方向画素数が大きくなくてはならない。

[0037] 次に、 2枚の画像中における被写体のずれについて言及する。推定方法は相関関数を用いるため、位置ずれに関する情報は、算出された自己相関関数 Rおよび相互相関関数 R

tsに反映されており、位置ずれを含む形で手振れ量が推定される。通常のシャッタースピードで撮像した画像から手振れ補正された画像は、電子式高速シャッターによる撮像画像 PQと同じ位置で画像復元されるため、撮影者が撮像したい瞬間の画像が得られる。

[0038] これまでは、数学的画像モデル推定部 5において 2枚の画像から手振れ量の推定を行う手法にっ、て述べたが、これらの推定値を用いてディジタル信号処理における画像復元アルゴリズムを適用することで手振れ補正を行う手法について述べる。画像復元アルゴリズムは後述するように多くの手法が提案されている力以下では、本発明にもっとも適切なひとつの手法について詳述する。本手法は手振れを示すインパルス応答関数の逆フィルタリングを行っており、逆フィルタリング手段 63において実行される。以下、数学的に詳細に述べる。

[0039] 実施の形態 1で用いた画像復元アルゴリズムは、拘束条件付最小自乗法から導かれる逆フィルタを用いており、数学的画像モデル推定部 5で推定された手振れ量を示すインパルス応答関数を用いて算出される。また、手振れ量を示すインパルス応答関数の逆フィルタを求める際は、特徴抽出された画像の自乗ノルムの最小化問題を解く。自乗ノルムとはベクトルに対して、その要素の自乗和として計算される。実施の形態 1ではエッジ抽出に使用されるラプラシアン'オペレータで抽出されたェッジ情報の自乗ノルムを最小化問題として解く手法を用いた。

[0040] まず、式（1)で示される数学的画像モデルをベクトル '行列表現する。このとき、求めるべき復元画像 RP及び通常のシャッタースピードによる撮像画像 PNの要素を、辞書式配列で取り出し列ベクトルとしてそれぞれ vs、 vtで定義し、インパルス応答関数に相当する行列を Hで表記する。また、ラプラシアン ·オペレータも前述のインパルス応答関数のように行列 Cとして表記する。このとき行列 Hおよび Cはブロックトェプリッッ行列となっており、近似的に 2次元離散フーリエ変換 (以後 DFTと表記する)行列を用いて近似的に対角化することができるため、高速で演算処理を行うことが可能になる。

[0041] 以上の表記を用いることにより、ラプラシアン'オペレータによる画像のエッジ抽出量を Tで表記すると、 Jは以下のようにベクトルのノルムの 2乗になり、

[0042] [数 5]

[0043] と書くことができる。一般的に、画像は画素間の相関性が強ぐエッジ抽出量は少ないものとなることから、拘束条件付最小自乗法では式（5)で示される Jの最小化を行うことで画像復元を行うことを考える。

ただし、手振れ画像において式（1)が成り立つことから、付加的雑音のパワー p ²として、

[0044] [数 6]

[0045] なる拘束条件が存在すると考え、式 (5)に式 (6)の拘束条件を付加した最小化問題を解くことで画像復元を行う。最終的に最小化を行う評価関数を再表記すると、ラグランジュ未定乗数 UMの逆数を γで表すとして、

[0046] [数 7]

J^ht-Hvl -ρ² +χ\\0ノ v_y| (7)

[0047] を最小化する問題に帰着される。式（7)を電子式高速シャッターによる撮像画像 vsで偏微分することにより復元画像 vssを求めると

[0048] [数 8] vss = (H^TH+)€^T0~¹H^Tvt (8)

[0049] が得られるが、式（8)はサイズの大き、ブロックトェプリッツ行列を含んで、ることから、厳密解を得るためには膨大な計算量が必要となる。しかし、 DFT行列を用いて近似的に対角化することで、下記に示すように実用的な計算量で解を求めることができる。ただし、式（8)中の変数の右肩に表記している Tは行列の転置を表す。 vssおよび vtを DFTしたベクトル要素を VSS ( V , V ),Τ(ν , V ；)、 DFT行列により行列

1 2 1 2

H、 Cを近似的に対角化した行列の対角要素を H , V )、C , V )で表記す

1 2 1 2 る。ここで、 ν 、 ν (ν = ν ， ···， ν 、 ν = ν ， ···， ν )ίま、それぞれ水

1M 2Ν

平及び垂直方向の空間周波数成分である。これらを用いると、 DFT領域における復元画像は

[0050] [数 9]

VSS(_Vl,v₂) = ) (H*: Hの複素共役）（9 )

[0051] として求まる。つまり復元画像は、 VSS 、 V )を 2次元逆離散フーリエ変換 (以後

1 2

IDFTと表記する）することにより得ることができる。ここで、インノルス応答関数から求まる逆フィルタを W( v , V )として表記すれば、逆フィルタは

1 2

[0052] [数 10]

[0053] である。次に、実際に式（10)を求め画像復元を行う処理について図 6のブロック図を用い詳細に述べる。

[0054] まず、フレームメモリ 4から入力端子 51に手振れによる劣化を受けた通常のシャツタ一スピードによる撮像画像 ΡΝを入力する。また、数学的画像モデル推定部 5から入力端子 52に先述の方法で推定された手振れ量を示すインパルス応答関数を入力し、逆フィルタ算出部 62で拘束条件付最小自乗法力導かれる逆フィルタの空間周波数表現を計算する。閾値設定部 66では、閾値 Αを設定し、和演算部 65で逆フィルタ算出部 62から入力した逆フィルタの交流成分の和を手振れレベルとして求め、比較器 67へ出力する。比較器 67では、入力した手振れレベルと先述の閾値 Aとを比較し、手振れレベルが A以下であれば、手振れによる劣化が視覚上問題ないと判断し、スィッチ 68において上側をオン (ON)にし、入力端子 51から入力された画像に対して、画像復元処理を行わず出力端子 53から出力する。手振れレベルが A以上であれば手振れによる劣化が存在して！/ヽると判断し、スィッチ 68におヽて下側をオン (O N)にし、画像復元処理を行う。

[0055] ここで、手振れによる劣化の有無を判断する別の方法について述べる。入力端子 5 2から入力されたインパルス応答関数の推定値は、手振れによる劣化が少なければ、インパルス応答関数のある要素のみ 1を取り、それ以外の要素は 0を取ることとなる。このことを検出して手振れ補正を実行する力否かを決定しても良い。このほかに、数学的画像モデル推定部 5にお、て、相互相関関数演算器 42で閾値との比較を行つても良い。

[0056] 次に、実施の形態 1での画像復元処理について述べる。画像復元には DFTを用いた拘束条件付最小自乗法により導かれる逆フィルタを用いるため、画像復元処理は空間周波数領域で行われる。そのため、通常のシャッタースピードで撮像した画像を 2次元 DFTするため DFT演算器 61で DFTし、そのデータを逆フィルタリング演算部 63に入力する。また、逆フィルタ算出部 62で求められた逆フィルタは逆フィルタリング演算部 63に入力され、先に入力されていた手振れによる劣化を受けた画像の空間周波数表現に、空間周波数表現された逆フィルタを乗算することで逆フィルタリングを行う。この結果得られる復元画像の空間周波数表現を空間領域表現に変換するため、 IDFT演算器 64にて IDFTを行う。 IDFT演算器 64から出力されたデータは手振れ補正された画像となっており、出力端子 53から出力する。

[0057] 次に、逆フィルタ算出部 62について、図 7のブロック図を用いて詳細に説明する。

[0058] まずはじめに、画像サイズ設定手段 84で画像サイズ SZを設定し、空間周波数領域表現変換器 83に入力する。そして、入力端子 71により数学的画像モデル推定部 5 で推定された手振れ量を示すインパルス応答関数 (実際にはその修正値) MVを入力するとともに、画像の特徴抽出を行うオペレータ LOを設定する特徴抽出オペレータ設定手段 85でラプラシアン'オペレータ LOを設定し、空間周波数領域表現変換器 83に入力する。空間周波数領域表現変換器 83は入力された画像サイズ SZに合わせ、入力された手振れを示すインパルス応答関数の修正値 MVと、特徴抽出ォペレータ LOを空間周波数領域表現 (インパルス応答関数の周波数領域表現 RF及びラブラシアン'オペレータの周波数領域表現 LF)に変換し、それぞれを拘束条件付最小自乗フィルタ構成手段 86に出力する。ラグランジュ未定乗数設定手段 87では、拘束条件付最小自乗法に含まれて!/ヽるラグランジュ未定乗数 UMを設定し、拘束条件付最小自乗フィルタ構成手段 86に出力する。拘束条件付最小自乗フィルタ構成手段 86では入力されたデータを用い、逆フィルタの空間周波数表現を計算し、出力端子 72から出力する。

[0059] ここで、ディジタル信号処理における画像復元アルゴリズムの適用方法について言及する。撮像画像を YCbCrの 3要素に変換して本発明を適用する場合、人の眼には輝度 (Y)の変化が一番検出されやす!、と、う事実を用いて、輝度 (Y)のみ画像復元を適用しても、遜色の無い手振れ補正を行うことができる。

[0060] また、画像復元アルゴリズムは非常に多くの手法が存在している。それらの手法の大部分は式（1)を基礎としており、式（1)を用いた手法および式（1)を変形して導いた手法による画像復元アルゴリズムであり、いずれも画像復元を行うには式（1)におけるインパルス応答関数の推定が必要となる。ここでディジタル信号処理における画像復元アルゴリズムの代表的なものにっ、て述べる。

[0061] まず、インパルス応答関数の逆関数を用いた逆フィルタリング手法がある。また、逆関数を持たず求めることができな、場合、擬似逆または一般逆と呼ばれる逆関数を求める逆フィルタリング手法がある。さらに、実施の形態 1で用いた拘束条件付最小自乗法における特徴抽出オペレータを変更したものや、重み付き拘束条件最小自乗法として導出されたアルゴリズムがある。これらの手法は一般的に正規直交変換を用いて空間周波数領域で実行される。その正規直交変換には DFT、 DCT、 DSTが用 V、られることが多、 (例えば DCTを用いる場合は、 DCT空間周波数領域と呼ぶことが多い)。また、これらのアルゴリズムは全て、空間領域で反復処理として実行することちでさる。

[0062] 次に、撮像された画像の原画像に統計的性質を仮定し、その性質に基づき画像復元を行うアルゴリズムがある。その代表的なものにウイーナ'フィルタがあり、空間領域、空間周波数領域どちらでも実行できる。また、ウイーナ 'フィルタの逐次推定手法としてカルマン ·フィルタによる画像復元アルゴリズムがある。本手法は式（1)の下に空間領域、周波数領域、空間周波数領域で行うアルゴリズムを導出できる。また、カルマン'フィルタは逐次推定手法であることから、その初期値に依存する場合もあり、その初期値を推定するために、固定区間スムーザと呼ばれるカルマン 'フィルタ実行後に行うアルゴリズムが存在する。これにより、適切な初期値を推定し、カルマン 'フィルタを実行し、再び固定区間スムーザを実行することで最良の復元画像を得ることもできる。また、固定区間スムーザの変わりに、固定ラグスムーザ、固定点スムーザを用いても、固定区間スムーザとほぼ同等の画像復元が行える。また、これらのアルゴリズムは事後確率最大化（Maximum A Posteriori： MAP)推定を用、た画像復元法の一つとも考えられる。また、 MAP推定には擬似焼き鈍し（Simulated Anealing) 法による確率緩和法を用いた手法なども用いられる。

[0063] 上記以外にも射影フィルタを中心としたアルゴリズムや、エントロピー最大化手法に基づいたアルゴリズムなど、多くの手法が存在する。本発明においては、画像復元ァルゴリズムとして上記に示した様々な手法を用いることが可能であり、応用目的や、使用する電子回路の性能やメモリ量等に応じて最適な手法を選択可能である。

[0064] 以上に述べたように、角速度センサ等の特別なセンサおよびその制御回路等を用 V、なくても、通常のシャッタースピードにより撮像した手振れによる劣化を受けた撮像画像の手振れ補正を、直前に撮像した電子式高速シャッターによる撮像画像 PQを参照すること〖こより行うことができる。さら〖こ、この手振れ補正後の画像は、撮影者がシャッターを押した時点での撮像画像が得られるという特長を有する。また、フレームメモリ 4には、 2枚の画像を格納できればよぐ大きなサイズのメモリは不要である。

[0065] 上記では、手振れの影響による撮像画像のぶれを除去する撮像装置および画像復元方法について述べた力この手法により、高速移動体の乗客が車窓から建物等を撮像した場合に生じる撮像画像のぶれも除去できると!ヽぅ特長も有する。手振れの影響によるぶれも、高速移動体力撮像した場合に生じるぶれも、数学的に等価であるからである。

Claims

請求の範囲

[1] 第 1の電荷蓄積時間での第 1の画像の撮像と、前記第 1の電荷蓄積時間よりも長い第 2の電荷蓄積時間での第 2の画像の撮像を連続して行う撮像素子と、

前記第 1及び第 2の画像間の関係が線形であるとの仮定に基づいて、前記第 1及び第 2の画像間の関係を推定する数学的画像モデル推定部と、

前記推定した関係から、前記第 2の画像に生じた劣化を改善する画像復元部とを備えたことを特徴とする画像撮像装置。

[2] 前記数学的画像モデル推定部は、前記第 1及び第 2の画像間の関係として、前記第 1の画像の自己相関関数と、前記第 1及び第 2の画像の相互相関関数を導出することを特徴とする請求項 1に記載の画像撮像装置。

[3] 前記自己相関関数および前記相互相関関数を導出する際の、画像領域の水平方向の画素数が、前記線形関係の水平方向の次数以上であり、且つ、前記画像領域の垂直方向の画素数力前記線形関係の垂直方向の次数以上であることを特徴とする請求項 2に記載の画像撮像装置。

[4] 前記数学的画像モデル推定部は、前記第 1及び第 2の画像間の推定された関係から、前記第 2の画像に生じたぶれ量を推定し、前記画像復元部は、推定されたぶれ量が大き!ヽ場合のみ、画像復元を行うことを特徴とする請求項 1に記載の画像撮像装置。

[5] 第 1の電荷蓄積時間での第 1の画像の撮像と、前記第 1の電荷蓄積時間よりも長い第 2の電荷蓄積時間での第 2の画像の撮像を連続して行い、

前記第 1及び第 2の画像間の関係が線形であるとの仮定に基づいて、前記第 1及び第 2の画像間の関係を推定し、

前記推定した関係から、前記第 2の画像に生じた劣化を改善する

画像復元方法。

[6] 前記数学的画像モデル推定部は、前記第 1及び第 2の画像間の関係として、前記第 1の画像の自己相関関数と、前記第 1及び第 2の画像の相互相関関数を導出することを特徴とする請求項 5に記載の画像復元方法。

[7] 前記自己相関関数および前記相互相関関数を導出する際の、画像領域の水平方向の画素数が、前記線形関係の水平方向の次数以上であり、且つ、前記画像領域の垂直方向の画素数力前記線形関係の垂直方向の次数以上であることを特徴とする請求項 6に記載の画像復元方法。

前記第 1及び第 2の画像間の推定された関係から、前記第 2の画像に生じたぶれ量を推定し、推定されたぶれ量が大きい場合のみ、画像復元を行うことを特徴とする請求項 5に記載の画像復元方法。