JP4926450B2 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP4926450B2
JP4926450B2 JP2005318746A JP2005318746A JP4926450B2 JP 4926450 B2 JP4926450 B2 JP 4926450B2 JP 2005318746 A JP2005318746 A JP 2005318746A JP 2005318746 A JP2005318746 A JP 2005318746A JP 4926450 B2 JP4926450 B2 JP 4926450B2
Authority
JP
Japan
Prior art keywords
data
image
original image
processing
period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005318746A
Other languages
English (en)
Other versions
JP2007129354A (ja
Inventor
史紀 高橋
Original Assignee
日東光学株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日東光学株式会社 filed Critical 日東光学株式会社
Priority to JP2005318746A priority Critical patent/JP4926450B2/ja
Publication of JP2007129354A publication Critical patent/JP2007129354A/ja
Application granted granted Critical
Publication of JP4926450B2 publication Critical patent/JP4926450B2/ja
Application status is Expired - Fee Related legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、デジタルカメラやデジタルビデオカメラ等の画像処理装置に関する。

従来から、カメラ等の画像記録装置で被写体を撮影すると、記録される画像には時々劣化が生じることが知られている。画像劣化の要因としては撮影時の手ブレ等がある。手ブレへの対策として、以下の第1および第2の技術が提案されている。第1の技術は、撮影(露光)前の撮影者の手ブレを検出し、ブレ量が許容値を越えている場合に、撮影者に警告を発したり、撮影動作を禁止し、それにより手ブレ補正機能を不要とすることで、低コストかつ軽量なカメラを得る技術である(特許文献1の特許請求の範囲および段落「0010」参照)。

また第2の技術は、撮影レンズを、モータ等で測定されるブレ方向や大きさに追従させて動かし、手ブレ動作を相殺する手ブレ補正技術である。この技術における手ブレの測定は、たとえばレリーズスイッチの半押し時から全押し後の期間に行われる(特許文献1の段落「0003」参照)。

特開平11−327024号公報

第1の技術を採用すると、低コストかつ軽量なカメラを得ることはできるが、たとえば走行する車内での撮影等、カメラへの振動付与を避けられない状況では、撮影できないことがある。または撮影できたとしても、画像処理装置への振動に起因する画像の劣化を軽減できない。また、第2の技術を採用すると、手ブレ補正は可能だが、モータ等、レンズを駆動するハードウェアを要するため、そのハードウェア自体やそのハードウェアを動かす駆動回路が必要となり、低コストかつ軽量なカメラを得ることができない。また、半押しを行わないときは手ブレが補正されない。

そこで本発明が解決しようとする課題は、振動に起因する、画像の劣化を確実に是正でき、低コストかつ軽量な画像処理装置を提供することである。

課題を解決するため、本発明の画像処理装置は、撮像素子を備える撮像部と、撮像部による撮像により生成された原画像から変化する前の画像もしくは本来撮影されるべきであった画像またはそれらの近似画像(以下、元画像という)を、撮像部の振動に応じた原画像の画素に対応する光エネルギーの分散を示す変化要因情報を利用するデータ処理によって復元処理する処理部と、復元処理に利用する変化要因情報を取得する取得部と、を有し、処理部は、所定の画像データから、原画像の撮像時における変化要因情報が示す分散の仕方に応じて光エネルギーを分散させた比較用データを生成し、原画像のデータと比較用データとの差分データが所定値より大きいまたは所定値以上の場合、変化要因情報が示す光エネルギーの分散の仕方に応じて、所定の画像データに差分データを配分することで復元データを生成する第1の処理を実行し、復元データを第1の処理における所定の画像データの代わりに使用して新たな復元データを生成する処理を繰り返し実行し、差分データが、所定値以下または所定値より小さくなる復元データを生成する第2の処理を実行し、差分データが所定値以下または所定値より小さくなる復元データの元となった復元データを元画像のデータとするものであり、第1の処理および第2の処理は、原画像のデータとして、原画像のデータの画素数を間引いて縮小した縮小画像データ、または原画像データの一部の領域を構成するデータを用いて実行されるものであり縮小画像データを用いる場合には、縮小した原画像のデータから第1および第2の処理を実行して求められた復元データへの伝達関数を算出し、その算出された伝達関数を拡大、補間し、その拡大、補間された伝達関数を使って原画像のデータから元画像のデータを生成するものであり、原画像のデータの一部の領域を構成するデータを用いる場合には、その一部の領域を構成するデータから第1および第2の処理を実行して求められた復元データへの伝達関数を算出し、その算出された伝達関数を拡大、補間し、その拡大、補間された伝達関数を使って原画像のデータから元画像のデータを生成することとしている。

この発明によれば、画像処理装置が有する検出部で検出された振動データを利用して、元画像に復元する処理を行うため、画像処理装置への振動に起因する画像の劣化を是正できる。また、この復元処理に際しては、データ処理を利用するため、レンズを駆動するハードウェアを要せず、かつ、他のハードウェアの増加を殆ど要しない。すなわち演算処理等のデータ処理で元画像のデータを生成するため、画像処理装置を低コストかつ軽量にすることができる。また、この発明によれば、画像処理装置の撮影期間に限らず、長期間に亘り発生している撮影者の手ブレ等の振動を検出し、その振動データを利用して繰り返し処理をしたり、より正確な点像関数(ブレによって広がった点像の情報)等を算出することができるため、復元処理精度が向上し得る。ここで、撮影期間とは、撮影開始から撮影終了までの期間をいい、いわゆる露光期間と言い換えることができる。また、この発明によれば、振動データを利用して、比較用データを生成し、復元対象とする画像データとの差分を比較し、この差分が大きいときのみ復元データを生成しているので、ハードウェア的な増加はほとんど無く、装置が大型化しない。また、さらに復元データから比較用データを作り、その比較用データと復元対象の画像データを比較するという処理を繰り返し、徐々に復元画像データを得るので、現実的な復元作業となる。このため、画像データの復元に当たって、現実性のある回路処理方式を有する画像処理装置とすることができる。また、この発明によれば、画像データの領域全体を反復処理によって復元せず、領域データの一部分を反復処理し、良好な復元画像データを求め、それを使ってその画像データのすべての領域内での計算を反復させるため、充分満足な解を高速で得ることができる。

他の発明は、上述した発明に加え、変化要因情報として、撮像部の振動に応じた振動データを検出する検出部を有し、処理部は、検出部で検出した振動データを利用するものであり、検出部での検出は、撮像部による撮影期間と、その前後の少なくとも一方の所定期間を合わせた期間行っている。この構成を採用した場合、撮影期間および、撮影期間以外の振動データをも検出し、収集することで、振動データが多くなり、より正確な振動データとなることから、復元された元画像の精度が高まる。

また他の発明は、上述した発明に加え、処理部は、検出部で検出された振動データが撮影期間をカバーしていないときは、カバーされていない期間を補完する処理を行っている。この構成を採用した場合、何かが原因で撮影期間全ての振動データが得られない場合でも、補完により撮影期間全ての振動データを得ることができる。

本発明により、画像処理装置への振動に起因する画像の劣化を確実に是正でき、低コストかつ軽量な画像処理装置を提供することができる。

以下、本発明の実施の形態に係る画像処理装置1について図を参照しながら説明する。なお、この画像処理装置1は、民生用のカメラとしているが、監視用カメラ、テレビ用カメラ、ハンディタイプのビデオカメラ、内視鏡カメラ、等他の用途のカメラとしたり、顕微鏡、双眼鏡、さらにはNMR撮影等の画像診断装置等、カメラ以外の機器にも適用できる。

図1には画像処理装置1の構成の概要を示している。画像処理装置1は、人物等の画像を撮影する撮影部2と、その撮影部2を駆動する制御系部3と、撮影部2で撮影された画像を処理する処理部4と、を有している。また、この実施の形態に係る画像処理装置1は、さらに処理部4で処理された画像を記録する記録部5と、角速度センサ等からなり、画像劣化など変化の要因となる振動データ等の変化要因情報を検知する検出部6と、画像劣化等を生じさせる既知の変化要因情報を保存する要因情報保存部7を有する。

撮影部2は、レンズを有する撮影光学系やレンズを通過した光を電気信号に変換するCCDやC−MOS等の撮影素子を備える部分である。制御系部3は、撮影部2,処理部4,記録部5,検出部6,および要因情報保存部7等、画像処理装置1内の各部を制御するものである。

処理部4は、画像処理プロセサで構成されており、ASIC(Application Specific Integrated Circuit)のようなハードウェアで構成されている。処理部4では、撮影部2で撮影された画像の画素数を減じる処理が行われることがある。処理部4は、検出する手ブレ等の振動検出のためのサンプリング周波数を発生させていると共にそのサンプリング周波数を検出部6に供給している。また処理部4は、振動検出の開始と終了を制御している。振動検出期間は、処理部4に配置されるタイマー等で制御される。

また、この処理部4には、後述する比較用データを生成する際の元となる画像が保管されることもある。さらに処理部4は、ASICのようなハードウェアとして構成されるのではなく、ソフトウェアで処理する構成としても良い。このように、処理部4には、多数の、異なる役割を担わせることができる。よって、このような処理部4を有する画像処理装置1は、低コストかつ軽量に構成できる。記録部5は、半導体メモリで構成されているが、ハードディスクドライブ等の磁気記録手段や、DVD等を使用する光記録手段等を採用しても良い。

検出部6は、図2に示すように、画像処理装置1の光軸であるZ軸に対して垂直方向となるX軸、Y軸の回りの速度を検出する2つの角速度センサを備えるものである。またこの検出部6に、撮影者と画像処理装置1との接触の有無を認識して、振動データ検出開始時期を決定する手段を、必要に応じて備えさせてもよい。その手段とは、たとえば撮影者が撮影のためにカメラを持って構える時に、ほぼ必ず接触するであろうカメラの位置(これはカメラの形状によって異なるため一概に言うことができないが、たとえばシャッター等の撮影開始用ボタンまたはその周辺部等)に配置した押圧センサや接触センサ等である。

ところで、カメラで撮影する際の手ブレは、X方向、Y方向、Z方向の各方向への移動やZ軸回りの回動も生ずるが、各変動により最も大きな影響を受けるのは、Y軸回りの回転とX軸回りの回転である。これら2つの変動は、ほんのわずかに変動しただけで、その撮影された画像は大きくぼける。このため、この実施の形態では、図2のX軸回りとY軸回りの2つの角速度センサのみを配置している。しかし、より完全を期すためZ軸回りの角速度センサをさらに付加したり、X方向やY方向への移動を検出するセンサを付加しても良い。本実施の形態に係る画像処理装置は、撮影者が発する手ブレ等の振動のデータを撮影(露光)時期間ならびに、その前または後も検出する。よって、より高精度に振動データを検出するのが好ましく、Z軸回りの角速度センサをさらに付加することが好ましい。また、使用するセンサとしては、角速度センサではなく、角加速度センサとしても良い。

要因情報保存部7は、既知の劣化要因情報などの変化要因情報、たとえば光学系の収差や検出された振動データや、それらに基づいて算出された点像関数等を保存しておく記録部である。その記録に際し、たとえば検出期間の全てに検出された振動データの中から、利用するデータを露光期間のみとし、かつ手ブレ周波数帯域に制限させ、その露光期間かつ手ブレ周波数帯域のデータを利用して算出された点像関数等を記録することができる。振動データ検出範囲を手ブレ周波数帯域に相当する低周波域に限定した場合、手ブレ周波数帯域への制限は不要としても良い。しかし、測定誤差の軽減や処理時間を早めるうえでは、利用するデータを手ブレ周波数と言われている数Hzから十数Hzの周波数のみに制限させるのが好ましい。なお、撮影者が乗物等に乗っている状況の場合は、手ブレの周波数帯域に制限する処理を行わないようにするのが好ましい。手ブレ周波数帯域への制限処理は、画像処理装置1にオンオフのスイッチを設ける等して撮影者が操作するのが好ましい。

要因情報保存部7に記録された変化要因情報は、処理部4で行う繰り返し処理(詳細は後述)で用いられる。一方、点像関数は、たとえばその算出後の直近に撮影された原画像の復元処理(点像関数である伝達関数を利用しての復元処理)の際に、処理部4で用いられる。そして次回の撮影の際には、前回の撮影終了後から当該次回の撮影終了までの期間、または次回の撮影開始前から当該次回の撮影終了後所定期間経過するまでの期間のデータから、同様に算出され記録された点像関数を、原画像の復元処理の際に用いる。ここで、原画像の復元処理を実行する時期は、撮影用の電源がオフされている時、処理部4が稼働していない時、処理部4の稼働率が低い時等、原画像を撮影した時期から遅らせた時期とすることができる。その場合には、記録部5に保存された原画像データおよび要因情報保存部7に保存された、その原画像についての点像関数等の変化要因情報が、それぞれが関連づけられた状態で長期間に亘り保存される。このように、原画像の復元処理を実行する時期を、原画像を撮影した時期から遅らせる利点は、種々の処理を伴う撮影時の処理部4の負担を軽減できることである。

検出部6にて画像処理装置1の振動データを検出する期間は、撮影(露光)開始の所定期間前から撮影終了後所定期間の範囲としてよい。この実施の形態では、その検出期間は、撮影開始1秒前から撮影終了1秒後の範囲としている。この数値は、たとえばそれぞれ20ミリ秒としたり、他の値とすることができる。また、撮影開始20ミリ秒前から撮影終了時の範囲や、撮影開始時から撮影終了20ミリ秒後の範囲等とすることができる。このように振動の検出期間に、少なくとも撮影開始時から撮影終了時までの撮影期間(露光期間)の前後のいずれか一方を含ませることは、現実に撮影した期間における振動データがより正確かつ確実なものとなり、好ましい。ここで、検出期間または利用する振動データに撮影開始時から撮影期間内の一部を含ませると、ある程度撮影期間内全体の振動データを予測できるため、撮影期間内全体を検出期間に含ませるのと同様に好ましい。よって、検出期間または利用する振動データを撮影開始前から撮影期間内の一部まで、または撮影開始後から撮影終了後の所定期間までとすることもできる。

振動データを予測する方法の例を述べる。たとえば、既に検出した振動データが、ほぼ一定の周波数および振幅であるなら、その周波数および振幅の振動データが、引き続き得られるものと予測できる。このようにして、処理部4は、検出部6で検出された振動データが撮影期間をカバーしていないときは、カバーされていない期間を内挿法や外挿法等により補完する処理を行うことができる。

ここで、画像処理装置1の振動データのうち、利用する振動データを検出する期間を、撮影開始1秒前から撮影終了1秒後の範囲内の期間とする構成とした場合について詳述する。

画像処理装置1は、動作状態となると検出部6で振動を常時検出している。しかし、その振動データは、最新の1秒間のみ、要因情報保存部7に保存される。1秒以上前のデータは逐次消去される。撮影が開始されると、その信号を検出し、保存されている1秒間に加え、撮影期間と、その後1秒間のデータを要因情報保存部7に保存する。

画像処理装置1の撮影期間内は、撮影者が画像処理装置1へ与える手ブレ振動を意識的に抑えようとしている。そして、その意識は撮影開始前から撮影終了後にも、概ねはたらいている。一方、撮影開始前から撮影終了後以外の期間は撮影者の振動が手ブレ以外の、手ブレよりも大きな動作(たとえば、画像処理装置1を持ったまま歩行する動作等)を伴う場合が多い。よって、この構成を採用することにより、そのような動作や振動のデータを検出対象から除外して、人体が発する手ブレ振動として、妥当な振動を多く含む振動データを検出できる。また、その振動データを用いて、点像関数等を算出して要因情報保存部7に記録するため、復元処理精度が向上し得る。

一方、画像処理装置1の側からみると、振動データの検出開始直後には、検出開始前から継続して発せられる振動を検知することとなる。ここで、どんなに高性能な角速度センサまたは角加速度センサでも、若干の応答遅れがあるため、検出部6は検出開始直後には、その振動に追従して振動を検知することが難しい。よって、仮に振動の検出開始時期と撮影(露光)開始時期とを一致させると、撮影開始直後の振動データは不正確になる。そこで、撮影開始1秒前からの振動データを検出しておくことで、撮影開始直後の振動データを正確にすることができる。そして、撮影開始1秒前から撮影終了1秒後までの振動データのうち、撮影期間中に相当する期間に相当する振動データを使用すると、より正確な復元処理ができる。さらに、撮影期間及および撮影期間以外の振動データを検出し、収集することで、振動データが多くなり、利用する振動データは、より正確な振動データとなることから、復元画像となる元画像の精度が高まる。

ここで、振動データを検出または利用する期間は、任意に設定できることは言うまでもない。もちろん、振動データの検出開始または利用開始から撮影開始までの期間と、撮影終了から振動データの検出終了または利用終了までの期間とを異ならせることができる。また、撮影者が振動データの検出または利用をする期間を、調整して設定できるようにすることが好ましい。その理由は、個々の撮影者に特有な動作等を考慮した画像復元処理が可能となるためである。たとえば、撮影開始前よりも撮影終了後の方が撮影期間の手ブレに近似した手ブレを発する撮影者のためには、撮影期間および撮影終了後の所定期間の振動データを利用するよう設定する。また、振動データを検出または利用する期間は、露光期間前の所定期間から露光終了後の所定期間の間における、振動データを検出しない期間を挟んだ複数の期間とすることもできる。

なお、上述のように時間で制御するのではなく、シャッター等が半押しまたは全押し状態となったら振動データの検出をしても良い。さらに、画像処理装置1の本体に押圧センサや接触センサを設けた場合には、これらのセンサが押圧や接触を感知したら振動データの検出を開始させることもできる。

なお、この実施の形態では、要因情報保存部7には、光学系の収差やレンズのひずみの情報が保存されているが、後述する手ブレのぼけの復元の際にはそれらの情報は、利用していない。

次に、以上のように構成された画像処理装置1の処理部4の画像復元処理方法の概要を、図3に基づいて説明する。

図3中、「I」は、任意の初期画像であって、処理部4の記録部に予め保存されている画像のデータである。「I’」は、その初期画像のデータのIの劣化画像のデータを示し、比較のための比較用データである。「G」は、検出部6で検出された振動データ等の変化要因情報(=劣化要因情報(点像関数等))のデータで、処理部4の記録部または要因情報保存部7に保存されるものである。「Img’」は、撮影された画像、すなわち劣化画像のデータを指し、この処理において処理対象となる原画像のデータである。

「δ」は、原画像のデータImg’と、比較用データI’との差分のデータである。「k」は、変化要因情報のデータに基づく配分比である。「I+n」は、初期画像のデータIに、差分のデータδを変化要因情報のデータに基づいて配分して新たに生成した復元画像のデータ(復元データ)である。「Img」は、原画像から変化する前の画像もしくは本来撮影されるべきであった画像で、本来の正しい画像のデータである。ここで、ImgとImg’の関係は、次の(1)式で現されるとする。
Img’=Img×G …(1)

なお、差分のデータδは、対応する画素の単純な差分でも良い場合もあるが、一般的には、変化要因情報のデータGにより異なり、次の(2)式で現される。
δ=f(Img’,Img,×G) …(2)

処理部4の処理ルーチンは、まず、任意の画像データIを用意することから始まる(ステップS101)。この初期画像のデータIとしては、劣化している原画像のデータImg’を用いても良く、また、黒ベタ、白ベタ、灰色ベタ、市松模様等どのような画像のデータを用いても良い。ステップS102で、(1)式のImgの代わりに初期画像となる任意の画像のデータIを入れ、劣化画像である比較用データI’を求める。次に、劣化画像である原画像のデータImg’と比較用データI’とを比較し、差分のデータδを算出する(ステップS103)。

次に、ステップS104で、この差分のデータδが所定値以上であるか否かを判断し、所定値以上であれば、ステップS105で新たな復元画像のデータ(=復元データ)を生成する処理を行う。すなわち、差分のデータδを変化要因情報のデータGに基づいて、任意の画像データIに配分し、新たな復元データI+nを生成する。その後、ステップS102,S103,S104を繰り返す。

ステップS104において、差分のデータδが所定値より小さい場合、処理を終了する(ステップS106)。そして、処理を終了した時点での復元データI+nを元画像のデータImgと推定し、そのデータを記録部5に記録する。なお、記録部5には、初期画像のデータIや変化要因情報のデータGを記録しておき、必要により処理部4に渡すようにしても良い。

以上の処理方法の考え方をまとめると以下のようになる。すなわち、この処理方法においては、処理の解を逆問題としては解かず、合理的な解を求める最適化問題として解くのである。逆問題として解く場合、理論上は可能であるが、現実問題としては困難である。

最適化問題として解くということは、次の条件を前提としている。
すなわち、
(1)入力に対する出力は、一意に決まる。
(2)出力が同じであれば、入力は同じである。
(3)出力が同じになるように、入力を更新しながら反復処理することにより、解を収束させていく。

このことを換言すれば、図4(A)(B)に示すように、原画像のデータImg’と近似である比較用データI’(I+n’)を生成できれば、その生成の元データとなる初期画像のデータIまたは復元データI+nは、元画像のデータImgに近似したものとなる。

なお、この実施の形態では、角速度検出センサのサンプリング周波数を60Hzから240Hz内としているが、高周波数を検出できるように5μsec毎に角速度を検出してもよい。また、差分のデータδの判定基準となる値は、各データを8ビット(0〜255)で現した場合に、この実施の形態では「6」としている。すなわち、6より小さい、つまり5以下の時は、処理を終了している。

次に、図3および図4に示す処理方法の詳細を、図5,図6,図7,図8,図9,図10,図11および図12に基づいて説明する。

(手ブレの復元アルゴリズム)
手ブレが無いとき、所定の画素に対応する光エネルギーは、露光期間中、その画素に集中する。また、手ブレがある場合、光エネルギーは、露光期間中にぶれた画素に分散する。さらに、露光期間中のブレがわかれば、露光期間中のエネルギーの分散の仕方がわかるため、ぶれた画像からブレの無い画像を作ることが可能となる。

以下、簡単のため、横一次元で説明する。画素を左から順にn-1,n,n+1,n+2,n+3,…,とし、ある画素nに注目する。ブレが無いとき、露光期間中のエネルギーは、その画素に集中するため、エネルギーの集中度は「1.0」である。この状態を図5に示す。このときの撮影結果を、図6の表に示す。図6に示すものが、劣化しなかった場合の正しい画像データImgとなる。なお、各データは、8ビット(0〜255)のデータで現している。

露光期間中にブレがあり、露光期間中の50%の期間はn番目の画素に、30%の時間はn+1番目の画素に、20%の時間はn+2番目の画素にそれぞれぶれていたとする。エネルギーの分散の仕方は、図7に示す表のとおりとなる。これが変化要因情報のデータGとなる。

ブレは、全ての画素で一様であるので、上ブレ(縦ブレ)が無いとすると、ブレの状況は、図8に示す表のとおりとなる。図8中の「撮影結果」として示されるデータが、本来の正しい画像のデータImgで、「ブレ画像」として示されるデータが、劣化している原画像のデータImg’となる。具体的には、たとえば「n−3」の画素の「120」は、ブレ情報である変化要因情報のデータGの「0.5」「0.3」「0.2」の配分比に従い、「n−3」の画素に「60」、「n−2]の画素に「36」、「n−1」の画素に「24」というように分散する。同様に、「n−2」の画素データである「60」は、「n−2」に「30」、「n−1」に「18」、「n」に「12」として分散する。この劣化している原画像のデータImg’と、図7に示す変化要因情報のデータGから元画像を算出することとなる。

ステップS101に示す任意の画像データIとしては、どのようなものでも採用できるが、この説明に当たっては、原画像のデータにImg’を用いる。すなわち、I=Img’として処理を開始する。図9の表中に「入力」とされたものが初期画像のデータIに相当する。このデータIすなわちImg’に、ステップS102で変化要因情報のデータGをかける。すなわち、たとえば、初期画像のデータIの「n−3」の画素の「60」は、n−3の画素に「30」が、「n−2」の画素に「18」が、「n−1」の画素に「12」がそれぞれ割り振られる。他の画素についても同様に配分され、「出力I’」として示される比較用データI’が生成される。このため、ステップS103の差分のデータδは、図9の最下欄に示すようになる。

この後、ステップS104にて差分のデータδの大きさを判断する。具体的には、差分のデータδが全て絶対値で5以下となった場合に処理を終了するが、図9に示す差分のデータδは、この条件に合わないため、ステップS105に進む。すなわち、差分のデータδを変化要因情報のデータGを使用して、任意の画像のデータIに配分して、図10中の「次回入力」として示される復元データI+nを生成する。この場合、第1回目であるため、図10では、I+1と現している。

差分のデータδの配分は、たとえば「n−3」の画素データ「30」に自分の所(=「n−3」の画素)の配分比である0.5をかけた「15」を「n−3」の画素に配分し、また「n−2」の画素のデータ「15」にその「n−2」の画素にきているはずの配分比である0.3をかけた「4.5」を配分し、さらに、「n−1」の画素のデータ「9.2」に、その「n−1」の画素にきているはずの配分比である0.2をかけた「1.84」を配分する。「n−3」の画素に配分された総量は、「21.34」となり、この値を初期画像のデータI(ここでは原画像のデータImg’を使用)にプラスして、復元データI+1を生成している。

図11に示すように、この復元データI+1がステップS102の入力画像のデータ(=初期画像のデータI)になり、ステップS102が実行され、ステップS103へと移行し、新しい差分のデータδを得る。その新しい差分のデータδの大きさをステップS104で判断し、所定値より大きい場合、ステップS105で新しい差分のデータδを前回の復元データI+1に配分し、新しい復元データI+2を生成する(図12参照)。その後、ステップS102の遂行により、復元データI+2から新しい比較用データI+2’が生成される。このように、ステップS102,S103が実行された後、ステップS104へ行き、そこでの判断によりステップS105へ行ったり、ステップS106へ移行する。このような処理を繰り返す。

この画像処理装置1では、処理するに当たり、ステップS104において、事前に処理回数と、差分のデータδの判断基準値のいずれか一方または両者を設定できる。たとえば処理回数として20回、50回等任意の回数を設定できる。また、処理を停止させる差分のデータδの値を8ビット(0〜255)中の「5」と設定し、5以下になったら処理を終了させたり、「0.5」と設定し「0.5」以下になったら処理を終了させることができる。この設定値を任意に設定できる。処理回数と判断基準値の両者を入力した場合、いずれか一方が満足されたときは処理は停止される。なお、両者の設定を可能としたとき、判断基準値を優先し、所定の回数の処理では判断基準値内に入らなかった場合、更に所定回数の処理を繰り返すようにしても良い。

この実施の形態の説明の中では、要因情報保存部7に保存されている全ての情報を利用しなかったが、ここに保存されている既知の劣化要因、たとえば光学収差やレンズのひずみなどのデータを使用するようにしても良い。その場合、たとえば、先の例(図3)の処理方法(反復処理)では、振動データと光学収差の情報を合わせて1つの劣化要因として捉えて処理を行うのが好ましいが、振動データでの処理を終了した後に光学収差の情報での復元処理を行うようにしても良い。

以上、本発明の実施の形態における画像処理装置1について説明したが、本発明の要旨を逸脱しない限り種々変更実施可能である。たとえば、処理部4で行ったデータ処理は、ソフトウェアで構成しているが、一部の処理を分担して行うようにした部品からなるハードウェアを部分的に含ませて構成しても良い。

また、処理対象となる画像としては原画像の他に、その原画像を色補正したり、フーリエ変換したり等、加工を施したものとしても良い。さらに、比較用データとしては、振動データからなる変化要因情報のデータGを使用して生成したデータ以外に、変化要因情報のデータGを使用して生成したものに色補正を加えたり、フーリエ変換したりしたデータとしても良い。また、変化要因情報のデータとしては、劣化要因情報のデータのみではなく、単に画像を変化させる情報や、劣化とは逆に、画像を良くする情報を含むものとする。

また、処理の反復回数が画像処理装置1側で自動的にまたは固定的に設定されている場合、その設定された回数を変化要因情報のデータGによって変更するようにしても良い。たとえば、ある画素のデータがブレにより多数の画素に分散している場合は、反復回数を多くし、分散が少ない場合は反復回数を少なくするようにしても良い。

さらに、反復処理中に、差分のデータδが発散してきたら、すなわち大きくなっていったら処理を中止させるようにしても良い。発散しているか否かは、たとえば差分のデータδの平均値を見てその平均値が前回より大きくなったら発散していると判断する方法を採用できる。また、反復処理中に、入力を異常な値に変更しようとしたときには、処理を中止させるようにしても良い。たとえば8ビットの場合、変更されようとする値が255を超える値であるときには、処理を中止させる。また、反復処理中、新たなデータである入力を異常な値に変更しようとしたとき、その値を使用せず、正常な値とするようにしても良い。たとえば、8ビットの0〜255の中で、255を超える値を入力データとしようとした際は、マックスの値である255として処理するようにする。

また、出力画像となる復元データを生成する際、変化要因情報のデータGによっては、復元させようとする画像の領域外へ出てしまうようなデータが発生する場合がある。このような場合、領域外へはみ出るデータは反対側へ入れる。また、領域外から入ってくるべきデータがある場合は、そのデータは反対側から持ってくるようにするのが好ましい。たとえば、領域内の最も下に位置する画素XN1のデータから、さらに下の画素に割り振られるデータが発生した場合、その位置は領域外になる。そこで、そのデータは画素XN1の真上で最も上に位置する画素X11に割り振られる処理をする。画素XN1の隣の画素N2についても同様に真上で最上覧の画素X12(=画素X11の隣り)に割り振ることとなる。

また、復元データI+nを生成するとき、配分比kを使用せず、対応する画素の差分のデータδをそのまま前回の復元データI+n−1の対応する画素に加えたり、対応する画素の差分のデータδを変倍した後に加えたり、また差分のデータδが割り振られた後のデータkδ(図10、図12中の「更新量」として示される値)を変倍して、前回の復元データI+n−1に加えるようにしても良い。これらの処理方法をうまく活用すると、処理速度が速くなる。

また、復元データIo+nを生成するとき、劣化等の変化要因の重心を算出し、その重心のみの差分、またはその差分の変倍を前回の復元データIo+n−1に加えるようにしても良い。この考え方、すなわち、変化要因の重心を利用した処理方法を、図3に示す処理方法を利用した第1の処理方法として、図13および図14に基づいて以下に説明する。

図13に示すように、正しい画像のデータImgが画素11〜15,21〜25,31〜35,41〜45,51〜55で構成されているとき、図13(A)に示すように、画素33に注目する。手ブレなどにより画素33が画素33,43,53,52の位置へと動いていくと、劣化した画像である原画像のデータImg’では、図13(B)に示すように、画素33,43,52,53に初めの画素33の影響が出る。

このような劣化の場合、画素33が移動する際、画素43の位置に最も長時間位置していたとすると、劣化、すなわち変化の要因の重心は、正しい画像のデータImg中の画素33に関しては原画像のデータImg’では画素43の位置にくる。これにより、差分のデータδは、図14に示すように、原画像のデータImg’と比較用データIo’のそれぞれの画素43の差として計算する。その差分のデータδは、初期画像のデータIoや復元データIo+nの画素33に加えられる。

また、先の例で言えば、「0.5」「0.3」「0.2」の3つの重心は、最も値が大きい「0.5」の位置であり、自分の位置となる。よって「0.3」や「0.2」の割り振りを考慮せず、差分のデータδの「0.5」または0.5の変倍分のみ自己の位置に割り振るようにすることとなる。このような処理は、ブレのエネルギーが集中している場合に好適となる。

さらに、変化要因情報のデータGの内容によって自動的に上述した各処理方法を選択させるようにすることもできる。たとえば、処理方法として、図5〜図12に示したように、(1)配分比kを使用して差分のデータδを配分する方法(実施例方式)、(2)対応する画素の差分、または差分のデータδを変倍する方法(対応画素方式)、(3)劣化要因の重心を検出してその重心部分のデータを利用する方法(重心方法)の3方法を実行できるプログラムを処理部4内に保存しておき、劣化要因の状況を分析し、その分析結果に基づき、その3つの方法のいずれか1つを選択するようにする。また、3つの方法のうちいずれか複数を選択し、1ルーチンの度に交互に利用したり、最初の数回はある方式で処理し、その後は他の方式で処理するようにしても良い。

また、復元処理の高速化を図る意味で、逆問題と組み合わせる方法が存在する。すなわち、たとえば原画像の画像データから画素数を減じた縮小データで反復処理を行い、縮小した原画像から縮小した復元データへの伝達関数を算出する。そして算出された伝達関数を拡大、補間し、その拡大、補間された伝達関数を使って元画像の復元データを得る。この処理方法は大きな画像(画素数の多い画像)の処理に有利となる。

以下に、大きな画像の復元に有利な高速処理化の基本的な考え方について説明する。

反復処理だけでは、どうしても収束に時間がかかってしまう。この欠点は、大きな画像の場合、顕著となる。一方、周波数空間でのデコンボリューションは、高速フーリエ変換(Fast Fourier Transform:FFT)を利用して高速計算ができるため、非常に魅力的である。ここでいう光学的なデコンボリューションとは、歪みやぼけなどにより劣化等した画像からその歪みなどを除去して、劣化等していない元画像を復元することをいう。

画像の場合、入力をin(x)、出力をou(x)、伝達関数をg(x)としたとき、理想状態では、出力ou(x)はコンボリューション積分となり、
ou(x)=∫in(t)g(x−t)dt…(3)
となる。なお、「∫」は積分の記号である。この式(3)は、周波数空間で、
O(u)=I(u)G(u)…(4)
となる。この既知の出力ou(x)から、伝達関数g(x)または未知の入力in(x)を求めるのがデコンボリューションであり、この目的のため、周波数空間で、I(u)=O(u)/G(u)が求められれば、これを実空間に戻すことで、未知の入力in(x)を求めることができる。

しかし、実際はノイズ等より、式(3)は、「ou(x)+α(x)=∫in(t)g(x−t)dt+α(x)」となる。ここで、「ou(x)+α(x)」は既知だが、ou(x)とα(x)のそれぞれは未知である。これを、たとえ近似的に逆問題として解いたとしても、充分満足できる解を得ることは現実的には難しい。そこで、ou(x)+α(x)=∫in(t)g(x−t)dt+α(x)≒∫jn(t)g(x−t)dtとなる、jn(x)を、反復処理法を用いて収束させていき、得るのが上述した図3の処理フローである。
ここで、「α(x)≪ou(x)」であれば、jn(x)≒in(x)と考えられる。

しかしながら、この方法は全データ領域内での計算を反復、収束させるため、充分満足な解は得られるが、データ数が多くなると時間がかかるのが欠点である。一方、ノイズの無い理想的状態では、周波数空間でのデコンボリューション計算で高速に解を求めることができる。そこで、この2つの処理を組み合わせることで、充分満足な解を高速で得ることができる。

このような処理方法としては、2つの方法が考えられる。第1は、データを間引く画素数を減じる方法である。間引く場合、たとえば、図15に示すように原画像のデータImg’が、画素11〜16,21〜26,31〜36,41〜46,51〜56,61〜66で構成されているとき、1つおきに画素を間引き、画素11,13,15,31,33,35,51,53,55からなる4分の1の大きさの原画像縮小データISmg’を生成する方法がある。

このように、原画像のデータImg’と変化要因情報データGとを間引き、間引かれた原画像縮小データISmg’と縮小された変化要因情報のデータGSを生成し、原画像縮小データISmg’と縮小された変化要因情報のデータGSを用いて、図3に示す反復処理を行い、原画像縮小データISmg’へ変化する前の縮小元画像ISmgに近似する充分満足な間引かれた近似した縮小復元データISo+nを得る。

この縮小された近似する縮小復元データISo+nを原画像縮小データISmg’へ変化する前の縮小元画像ISmg、すなわち正しい画像Imgの縮小した画像と推定する。そして、原画像縮小データISmg’は、縮小復元データISo+nと伝達関数g(x)のコンボリューション積分と考え、得られた縮小復元データISo+nと既知の原画像縮小データISmg’から未知の伝達関数g1(x)を得ることができる。

縮小復元データISo+nは充分満足なデータではあるが、あくまで近似である。したがって、本来の復元データIo+nと原画像のデータImg’の伝達関数g(x)は、縮小されたデータでの反復処理で得られた伝達関数g1(x)ではない。そこで、縮小復元データISo+nと縮小した原画像のデータである原画像縮小データISmg’から伝達関数g1(x)を算出し、算出した伝達関数g1(x)を拡大し、拡大した間を補間して、修正することで得られた新伝達関数g2(x)を、元データとなる原画像のデータImg’に対する伝達関数g(x)とする。新伝達関数g2(x)は、得られた伝達関数g1(x)に対して原画像縮小データの縮小率の逆数倍にし、その後、拡大した間の値を線形補間やスプライン補間等の補間処理をすることで得られる。たとえば、図15のように縦横共に1/2に間引いた場合、1/4の縮小率となるため、逆数倍としては4倍となる。

そして、その修正した新伝達関数g2(x)(=g(x))を使用し、周波数空間でデコンボリューション計算(ボケを含む画像群から計算によってボケを除去する計算)を行い、全体画像の完全な復元データIo+nを得て、それを劣化していない元の正しい画像Img(元画像)と推定する。

以上の処理の流れを、図16に示すフローチャート図で示す。

ステップS201では、原画像のデータImg’と変化要因情報のデータGを1/Mに縮小する。図15の例では1/4に縮小される。得られた原画像縮小データISmg’と、縮小変化要因情報のデータGSと、任意の画像(所定の画像)のデータIoとを使用し、図3に示すステップS102〜ステップS105を繰り返す。そして、差分のデータδが小さくなる画像、すなわち原画像縮小データISmg’へ変化する前の縮小元画像ISmgに近似する縮小復元データISo+nを得る(ステップS202)。このとき、図3に示す「G,Img’,Io+n」は、「GS,ISmg’,ISo+n」に置き換えられる。

得られた縮小復元データISo+nと既知の原画像縮小データISmg’とから、原画像縮小データISmg’から縮小復元データISo+nへの伝達関数g1(x)を算出する(ステップS203)。その後、ステップS204では、得られた伝達関数g1(x)をM倍(図15の例では4倍)して拡大し、拡大されたその間を線形補間等の補間手法にて補間し、新伝達関数g2(x)を得る。この新伝達関数g2(x)を元画像に対しての伝達関数g(x)と推定する。

次に、算出した新伝達関数g2(x)と原画像のデータImg’からデコンボリューションを行い、復元データIo+nを求める。この復元データIo+nを元画像とする(ステップS205)。以上のように、イ)反復処理と、ロ)伝達関数g1(x),g2(x)を求め、その求められた新伝達関数g2(x)を使用した処理と、を併用することで、復元処理の高速化が図れる。

なお、この処理の場合、得られた正しい画像と推定された復元データIo+nを図3に示す処理の初期画像のデータIoとして使用し、変化要因情報のデータGと劣化した原画像のデータImg’とを用い、さらに反復処理を実行するようにしても良い。

縮小されたデータを利用する方法の第2は、原画像のデータImg’の一部の領域のデータを取り出すことで原画像縮小データISmg’とする方法である。この方法を、図3に示す処理方法を利用した第3の処理方法として説明する。たとえば、図17に示すように、原画像のデータImg’が、画素11〜16,21〜26,31〜36,41〜46,51〜56,61〜66で構成されているとき、その中央の領域である、画素32,33,34,42,43,44からなる6分の1の大きさの領域を取り出し、原画像縮小データISmg’を生成する方法である。

この第2の方法を図18のフローチャートを用いて詳細に説明する。

第2の方法では、まずステップS301で上述のように原画像縮小データISmg’を得る。次に、この原画像縮小データISmg’と、変化要因情報データGと、任意の画像データで原画像縮小データISmg’と同じ大きさ(=同じ画素数)の初期画像のデータIoを使用し、図3に示すステップS102〜ステップS105の処理を繰り返し、縮小復元データISo+nを得る(ステップS302)。この処理では、図3中の「Img’」を「ISmg’」に、「Io+n」を「ISo+n」にそれぞれ置き換えられる。

得られた縮小復元データISo+nと既知の原画像縮小データISmg’とから、縮小復元データISo+nから原画像縮小データISmg’への伝達関数g1’(x)を算出する(ステップS303)。次に、算出された伝達関数g1’(x)を元画像Imgに対する伝達関数g’(x)とし、この伝達関数g1’(x)(=g’(x))と既知の原画像のデータ Img’を用いて、元画像Imgを逆計算により求める。なお、求められたものは、実際は、元画像Imgに近似する画像のデータとなる。

以上のように、イ)反復処理と、ロ)伝達関数g1’(x)を求め、その求められた伝達関数g1’(x)を使用した処理と、を併用することで、復元処理の高速化が図れる。なお、求められた伝達関数g1’(x)をそのまま全体の伝達関数g’(x)とせず、変化要因情報データGを利用して修正するようにしても良い。

このように、上述した高速化のための第2の方法では、画像領域全体を反復処理で復元せず、領域の一部分を反復処理し良好な復元画像を求め、それを使ってその部分に対する伝達関数g1’(x)を求め、その伝達関数g1’(x)自体またはそれを修正(拡大など)したものを用いて画像全体の復元を行うものである。ただし、取り出してくる領域は、変動領域よりも充分大きな領域とする必要がある。図5等に示した先の例では、3画素に渡って変動しているので、3画素以上の領域を取り出してくる必要がある。

なお、図17、図18に示す縮小領域を取り出してくる方法の場合、原画像のデータImg’を、たとえば図19に示すように、4分割し、各分割領域から一部の領域を取り出し、小さい領域である4つの原画像縮小データISmg’をそれぞれ反復処理し、4分割された分割区域をそれぞれ復元し、復元された4つの分割画像を一つにすることで元の全体画像としても良い。なお、複数に分割する際、必ず複数領域に渡って重なる領域(オーバーラップ領域)を持つようにするのが好ましい。また、各復元された画像のオーバーラップ領域は、平均値を使ったり、オーバーラップ領域で滑らかにつなぐなどの処理を行うようにするのが好ましい。

さらに、実際に図3の処理方法を採用した場合、コントラストの急激な変化のある画像等については、良好な近似の復元画像への収束が遅いことが判明した。このように、元の画像である被写体の性質によっては、反復処理の収束スピードが遅く、反復回数を多くしなければならない場合がある。このような被写体の場合、次のような処理方法を採用すると、この問題を解決できると推定される。

その方法とは以下のとおりである。すなわち、コントラストの急激な変化のある被写体は、図3に示す処理方法による復元の復元処理を使用し、元の画像に近似したものを得ようとすると、反復数が非常に多くなると共に多くの回数の処理を行った後も、元の被写体に近似する復元データI+nを生成できない。そこで、撮影された原画像(ブレ画像)のデータImg’に、既知の画像のデータBから撮影時の変化要因情報のデータGを用いてブレ画像のデータB’を生成し、そのデータB’を重ね合わせ、「Img’+B’」を作る。その後、重ね合わせた画像を図3に示す処理にて復元処理し、その復元データI+nとなる結果データCから既知の加えた画像のデータBを取り去り、求めたい復元画像のデータImgを取り出す。

この方法では、正しい画像のデータImgは急激なコントラスト変化を含んでいるが、既知の画像のデータBを加えることで、この急激なコントラスト変化を軽減することができ、復元処理の反復数を低減することができる。

また、復元の困難な被写体の処理方法および高速な処理方法として、他の処理方法も採用できる。たとえば、復元処理の反復数を多くすれば良好な復元画像により近づけることができるが、処理に時間がかかる。そこで、ある程度の反復処理数で得られた画像を用いて、そこに含まれる誤差成分を算出し、誤差を含む復元画像から、算出した誤差を取り去ることで良好な復元画像すなわち復元データI+nを得ることができる。

この方法を具体的に以下に説明する。求めたい正しい原画像をAとし、撮影した原画像をA’とし、原画像A’から復元した画像をA+γとし、その復元データから生成したぶれた比較用データをA’+γ’とする。この「A’+γ’」に、撮影した原画像「A’」を付加し、それを復元処理すると、「A+γ+A+γ+γ」となり、これは「2A+3γ」であり、また、「2(A+γ)+γ」である。「A+γ」は前回の復元処理で求まっているので、「2(A+γ)+γ−2(A+γ)」が計算でき、「γ」が求まる。よって「A+γ」から「γ」を取り去ることで、求めたい正しい原画像Aが得られる。

以上説明した各処理方法、すなわち、(1)配分比kを使用して差分のデータδを配分する方法(実施例方式)、(2)対応する画素の差分、または差分のデータδを変倍する方法(対応画素方式)、(3)劣化要因の重心を検出してその重心部分のデータを利用する方法(重心方法)、(4)データを間引き、逆問題と組み合わせる方法(逆問題間引き方法)、(5)縮小領域を取り出し、逆問題と組み合わせる方法(逆問題領域取り出し方法)、(6)所定の画像を重ね合わせて反復処理し、その後、その所定の画像を取り去る方法(苦手画像対策重ね合わせ方法)、(7)誤差を含む復元画像から、算出した誤差を取り去る方法(誤差取り出し方法)の各処理方法のプログラムを処理部4に保存しておき、使用者の選択または画像の種類に応じて自動的に、処理方法を選択できるようにしても良い。

また、処理部4は、変化要因情報のデータGを複数の種類の内のいずれかに分類付けし、その分類毎に違う処理(上述した各方法のいずれか1つ)を行うようにしたり、また、その分類毎に、繰り返しの回数を異ならせるようにしても良い。

また、これら(1)〜(7)のいずれか複数を処理部4に保存しておき、使用者の選択または画像の種類に応じて自動的に、処理方法を選択できるようにしても良い。また、これら5つの方法のうちいずれか複数を選択し、1ルーチンの度に交互または順番に利用したり、最初の数回はある方式で処理し、その後は他の方式で処理するようにしても良い。なお、画像処理装置1は、上述した(1)〜(7)のいずれか1つまたは複数の他に、それらとは異なる処理方法をも有するようにしても良い。

また、上述した各処理方法は、プログラム化されても良い。また、プログラム化されたものが記憶媒体、たとえばCD、DVD、USBメモリに入れられ、コンピュータによって読みとり可能とされても良い。この場合、画像処理装置1は、その記憶媒体内のプログラムを読み込む読み込み手段を持つこととなる。さらには、そのプログラム化されたものが画像処理装置1の外部サーバに入れられ、必要によりダウンロードされ、使用されるようにしても良い。この場合、画像処理装置1は、その記憶媒体内のプログラムをダウンロードする通信手段を持つこととなる。

なお、撮影が終了してから所定の期間、振動データを検出するようにするには、露光終了からタイマーを働かせるのが好ましいが、露光開始からタイマーを働かせたり、シャッターが戻るのを検出し、その検出時点から所定期間としたり等、種々の方法が採用され得る。

また、処理部4が検出期間における振動データを利用して復元処理を行うに際し、検出された振動データのうち、復元処理に反映(利用)すると却って画像が劣化する部分については、その部分を省略して復元処理することが好ましい。このような部分とは、たとえば検出ノイズの部分や、検出期間をあまりに長くしてしまった場合の、露光時の振動とは、かけ離れた周波数・振幅を含む部分(たとえば手ブレとは無関係の振動部分)等である。この部分を除外する方法は、たとえば、一定の周波数の値を超える振動データを除外する等である。このように、一定の基準に従って振動データを復元処理に反映させない処理を行うことも、「振動データを利用して復元処理を行う」ことである。

また、このように、一定の基準に従って振動データを復元処理に反映させない場合の一例を述べる。たとえば、意識的に手ブレを抑えようとし、その意識が継続していても、シャッターを半押しまたは全押しした際には、それまでの、ほぼ一定の振動データから、かけ離れた振動データが検出されることがある。また、それとともに、シャッターを全押しした直後から露光が開始される場合には、原画像の劣化の度合いが大きく、データ処理を活用しても妥当な元画像を得られ難い場合がある。その場合には、たとえば反復処理回数が多くなる等、処理部4の負担が大きくなる。この原因は、シャッターを全押しした際に急激な振動データの変化があったときには、検出部6の角速度センサまたは角加速度センサ等が、その変化に、すぐには追従できず、検出される振動データが不正確になるためと考えられる。そこで、シャッターを半押しまたは全押しした直後から所定期間、または所定の基準に従い、振動データを検出対象から除外すること等により、その振動データを復元処理に反映させないことができる。そのときには、予めその所定期間、または所定の基準を設定しておくことができる。

また、一定の基準に従って振動データを復元処理に反映させない対象にできる別の期間は、シャッターを全押しした状態からシャッターを押さない状態に戻すまでの期間等である。この期間も、シャッターを半押しまたは全押しした直後から所定期間と同様に、急激な振動データの変化が生じ得る。

本発明の実施の形態に係る画像処理装置の主要構成を示すブロック図である。 図1に示す画像処理装置の概要を示す外観斜視図で、角速度センサの配置位置を説明するための図である。 図1に示す画像処理装置の処理部で行う画像復元処理方法(反復処理)に係る処理ルーチンを説明するための処理フロー図である。 図3に示す処理方法の概念を説明するための図である。 図3に示す処理方法を、手ブレを例にして具体的に説明するための図で、手ブレのないときのエネルギーの集中を示す表である。 図3に示す処理方法を、手ブレを例にして具体的に説明するための図で、手ブレのないときの画像データを示す図である。 図3に示す処理方法を、手ブレを例にして具体的に説明するための図で、手ブレが生じたときのエネルギーの分散を示す図である。 図3に示す処理方法を、手ブレを例にして具体的に説明するための図で、任意の画像から比較用データを生成する状況を説明するための図である。 図3に示す処理方法を、手ブレを例にして具体的に説明するための図で、比較用データと、処理対象となるぶれた原画像とを比較して、差分のデータを生成する状況を説明するための図である。 図3に示す処理方法を、手ブレを例にして具体的に説明するための図で、差分のデータを配分し任意の画像に加えることで復元データを生成する状況を説明するための図である。 図3に示す処理方法を、手ブレを例にして具体的に説明するための図で、生成された復元データから新たな比較用データを生成し、そのデータと処理対象となるぶれた原画像とを比較して差分のデータを生成する状況を説明するための図である。 図3に示す処理方法を、手ブレを例にして具体的に説明するための図で、新たに生成された差分のデータを配分し、新たな復元データを生成する状況を説明するための図である。 図3に示す処理方法を利用した第1の処理方法である変化要因の重心を利用した処理を説明するための図で、(A)は正しい画像のデータ中の1つの画素に注目する状態を示す図で、(B)は原画像のデータを示す図中で、注目した画素のデータが拡がる状態を示す図である。 図13に示す第1の処理方法である変化要因の重心を利用した処理を、具体的に説明するための図である。 図3に示す処理方法を利用した第2の処理方法を説明するための図で、(A)は処理対象となる原画像のデータを示し、(B)は(A)のデータを間引いたデータを示す図である。 図15に示す第2の処理方法のフローチャート図である。 図3に示す処理方法を利用した第3の処理方法を説明するための図で、(A)は処理対象となる原画像のデータを示し、(B)は(A)のデータの一部を取り出したデータを示す図である。 図17に示す第3の処理方法のフローチャート図である。 図17、図18に示す第3の処理方法の変形例を説明するための図で、原画像のデータを4分割し、各分割領域から、反復処理するための一部の領域を取り出すことを示す図である。

符号の説明

1 画像処理装置
2 撮影部
3 制御系部
4 処理部
5 記録部
6 検出部
7 要因情報保存部
Io 初期画像のデータ(任意の画像のデータ)
Io’比較用データ
G 変化要因情報のデータ(劣化要因情報のデータ)
GS 縮小された変化要因情報のデータ
Img’ 原画像のデータ(撮影された画像)
ISmg’ 原画像縮小データ
δ 差分のデータ
k 配分比
Io+n 復元データ(復元画像のデータ)
ISo+n 縮小復元データ
Img 劣化のない本来の正しい画像のデータ(元画像)
ISmg 縮小元画像
g(x),g’(x),g2(x) 伝達関数(大きい画像を復元するための伝達関数)
g1(x),g1’(x) 伝達関数(縮小されたデータから得られた伝達関数)

Claims (3)

  1. 撮像素子を備える撮像部と、
    上記撮像部による撮像により生成された原画像から変化する前の画像もしくは本来撮影されるべきであった画像またはそれらの近似画像(以下、元画像という)を、上記撮像部の振動に応じた上記原画像の画素に対応する光エネルギーの分散を示す変化要因情報を利用するデータ処理によって復元処理する処理部と、
    上記復元処理に利用する上記変化要因情報を取得する取得部と、を有し、
    上記処理部は、
    所定の画像データから、上記原画像の撮像時における上記変化要因情報が示す分散の仕方に応じて光エネルギーを分散させた比較用データを生成し、上記原画像のデータと上記比較用データとの差分データが所定値より大きいまたは所定値以上の場合、上記変化要因情報が示す光エネルギーの分散の仕方に応じて、上記所定の画像データに上記差分データを配分することで復元データを生成する第1の処理を実行し、
    上記復元データを上記第1の処理における所定の画像データの代わりに使用して新たな復元データを生成する処理を繰り返し実行し、上記差分データが、所定値以下または所定値より小さくなる復元データを生成する第2の処理を実行し、
    上記差分データが所定値以下または所定値より小さくなる復元データの元となった復元データを上記元画像のデータとするものであり、
    上記第1の処理および第2の処理は、上記原画像のデータとして、上記原画像のデータの画素数を間引いて縮小した縮小画像データ、または上記原画像データの一部の領域を構成するデータを用いて実行されるものであり
    上記縮小画像データを用いる場合には、縮小した上記原画像のデータから上記第1および第2の処理を実行して求められた復元データへの伝達関数を算出し、その算出された伝達関数を拡大、補間し、その拡大、補間された伝達関数を使って上記原画像のデータから上記元画像のデータを生成するものであり、
    上記原画像のデータの一部の領域を構成するデータを用いる場合には、その一部の領域を構成するデータから上記第1および第2の処理を実行して求められた復元データへの伝達関数を算出し、その算出された伝達関数を拡大、補間し、その拡大、補間された伝達関数を使って上記原画像のデータから上記元画像のデータを生成する、
    ことを特徴とする画像処理装置。
  2. 前記変化要因情報として、前記撮像部の振動に応じた振動データを検出する検出部を有し、
    前記処理部は、上記検出部で検出した上記振動データを利用するものであり、
    上記検出部での検出は、前記撮像部による撮影期間と、その前後の少なくとも一方の所定期間を合わせた期間行うことを特徴とする請求項1記載の画像処理装置。
  3. 前記処理部は、前記検出部で検出された前記振動データが前記撮影期間をカバーしていないときは、カバーされていない期間を補完する処理を行うことを特徴とする請求項2記載の画像処理装置。
JP2005318746A 2005-11-01 2005-11-01 画像処理装置 Expired - Fee Related JP4926450B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005318746A JP4926450B2 (ja) 2005-11-01 2005-11-01 画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005318746A JP4926450B2 (ja) 2005-11-01 2005-11-01 画像処理装置

Publications (2)

Publication Number Publication Date
JP2007129354A JP2007129354A (ja) 2007-05-24
JP4926450B2 true JP4926450B2 (ja) 2012-05-09

Family

ID=38151673

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005318746A Expired - Fee Related JP4926450B2 (ja) 2005-11-01 2005-11-01 画像処理装置

Country Status (1)

Country Link
JP (1) JP4926450B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4927005B2 (ja) * 2008-03-04 2012-05-09 日東光学株式会社 変化要因情報のデータの生成法および信号処理装置
JP5065099B2 (ja) * 2008-03-04 2012-10-31 日東光学株式会社 変化要因情報のデータの生成法および信号処理装置
JP5495500B2 (ja) * 2008-03-04 2014-05-21 日東光学株式会社 変化要因情報のデータの生成法および信号処理装置
JP2011130241A (ja) * 2009-12-18 2011-06-30 Fujifilm Corp 撮像装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1124122A (ja) * 1997-07-03 1999-01-29 Ricoh Co Ltd 手ぶれ画像補正方法および手ぶれ画像補正装置並びにその方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2002300459A (ja) * 2001-03-30 2002-10-11 Minolta Co Ltd 反復法による画像復元装置、画像復元方法、プログラム及び記録媒体
JP3925415B2 (ja) * 2003-01-22 2007-06-06 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4602860B2 (ja) * 2005-06-21 2010-12-22 日東光学株式会社 画像処理装置

Also Published As

Publication number Publication date
JP2007129354A (ja) 2007-05-24

Similar Documents

Publication Publication Date Title
JP5136669B2 (ja) 画像処理装置、画像処理方法及びプログラム
EP2574038B1 (en) Image capturing apparatus, image processing apparatus, image processing method, and image processing program
US8244053B2 (en) Method and apparatus for initiating subsequent exposures based on determination of motion blurring artifacts
US9167168B2 (en) Image processing method, image processing apparatus, non-transitory computer-readable medium, and image-pickup apparatus
US7697778B2 (en) Method of notifying users regarding motion artifacts based on image analysis
EP1984892B1 (en) Foreground/background segmentation in digital images
KR101373357B1 (ko) 카메라 및 장면 동작을 고려한 카메라 노출 최적화 기술
JP4678603B2 (ja) 撮像装置及び撮像方法
US8027534B2 (en) Image processing apparatus, image processing method, and program
KR101624450B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 기록 매체
JP6271990B2 (ja) 画像処理装置、画像処理方法
JP4121780B2 (ja) デジタル画像における動きによるぼけを低減する方法
JP5111088B2 (ja) 撮像装置及び画像再生装置
JP5525703B2 (ja) 画像再生表示装置
US20140125825A1 (en) Super-resolution based on optical image stabilization
KR101032233B1 (ko) 화상 처리 방법 및 장치, 및 프로그램이 기록된 컴퓨터 판독가능한 기록 매체
EP1779322B1 (en) A digital image acquisition system having means for determining a camera motion blur function
US8194996B2 (en) Image processing apparatus, image processing method, image processing program, and image capturing apparatus
US8311385B2 (en) Method and device for controlling video recordation property of camera module according to velocity of object
US8208017B2 (en) Imaging device, product package, and semiconductor integrated circuit
CN101516001B (zh) 数字拍摄设备及其控制方法和记录介质
US8593533B2 (en) Image processing apparatus, image-pickup apparatus, and image processing method
US7742690B2 (en) Imaging apparatus and method for processing imaging results
JP2012003233A (ja) 画像処理装置、画像処理方法およびプログラム
JP5153846B2 (ja) 画像処理装置、撮像装置、画像処理方法、及び、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081003

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100817

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100831

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101101

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110524

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110725

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120131

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120208

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150217

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4926450

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees