WO2010027102A1

WO2010027102A1 - 画像処理装置

Info

Publication number: WO2010027102A1
Application number: PCT/JP2009/065878
Authority: WO
Inventors: 渡辺郁夫
Original assignee: キヤノン株式会社
Priority date: 2008-09-04
Filing date: 2009-09-04
Publication date: 2010-03-11
Also published as: US20100111368A1; CN102144244B; CN102144244A; US8369576B2; JP2010061440A; JP5419403B2

Abstract

　超解像処理の収束判定の誤判定をなくし、超解像処理の精度を向上させることが可能な画像処理装置を提供する。　被写体との距離を計測する距離計測部２と、被写体の画像を反復計算によって復元する劣化画像復元部１３４と、画像復元処理の終了判定を行う終了判定手段とを具備する。そして、画像復元処理の終了判定を行う場合には、距離計測部２によって計測された距離情報に基づく特定の距離レイヤのみ又は距離情報に基づく距離レイヤ毎に終了判定を行う。

Description

画像処理装置

　本発明は、劣化画像を復元する画像処理装置に関するものである。

　従来、デジタルカメラ等の撮像装置で撮像した場合、後で見るとピンぼけ等により劣化画像となることがある。このような場合、超解像処理により劣化画像を復元する試みがなされており、超解像のアルゴリズムが種々考えられている。例えば、Ｉｍｐｒｏｖｉｎｇ　Ｒｅｓｏｌｕｔｉｏｎ　ｂｙ　Ｉｍａｇｅ　Ｒｅｇｉｓｔｒａｔｉｏｎ　ＣＶＧＩＰ：ＧＲＡＰＨＩＣＡＬ　ＭＯＤＥＬＳ　ＡＮＤ　ＩＭＡＧＥ　ＰＲＯＣＥＳＳＩＮＧ　Ｖｏｌ．５３，Ｎｏ．３，ｐｐ．２３１−２３９，Ｍａｙ　１９９１には、イラニー・ペレッグ法と呼ばれる代表的な方法が開示され、複数のボケ画像からの復元を行う方法が提案されている。
　イラニー・ペレッグ法の画像復元処理には式（１）が用いられる。本方式では、繰り返し処理において劣化画像から未知の元画像を徐々に推定していく。その際、式（１）に示す直前の復元画像ｆ^（ｎ）に想定したボケを表す点広がり関数（ｈ^ＰＳＦ）をコンボリューションして作成した疑似ボケ画像ｇ^（ｎ）と、撮影で得られたボケ画像ｇのノルム（画素毎の差分２乗和）を計算し、これをｆ^{（ｎ＋１）}とする。即ち、式（２）のｅ^（ｎ）を計算し最小となった場合を画像復元完了とする。
　ｆ^{（ｎ＋１）}＝ｆ^（ｎ）＋（ｇ−ｇ^（ｎ））×ｈ^ＡＵＸ／ｃ＝ｆ^（ｎ）＋（ｇ−ｆ^（ｎ）×ｈ^ＰＳＦ）×ｈ^ＡＵＸ／ｃ　…式（１）
但し、ｃは正規化定数、ωは空間周波数である。また、ｈ^ＡＵＸは全てのωで、
０＜｜１−Ｈ^ＰＳＦ（ω）・Ｈ^ＡＵＸ（ω）／ｃ｜＜１を満たすものなら良く、一般的にはＨ^ＰＳＦが使われる。Ｈはｈのフーリエ変換である。
　ｅ^（ｎ）＝‖ｇ^（ｎ）−ｇ^（０）‖　…式（２）
但し、‖　‖はノルムであり、画素毎の差分２乗和か差分絶対値和を示す。
　また、特開２００６−２４２７４６号公報には元画像の推定にベイズ推定を用いた代表的なリチャードソン・ルーシ法を改良したアルゴリズムが開示されている。特開２００６−１９５８５６号公報には、超解像処理に関する１５種の非特許文献が記載されている。
　一方、被写体との距離を測定し、画素毎の距離情報を取得する技術も知られている。例えば、特開平１１−２５７９５１号公報にはステレオ法と呼ばれる被写体までの距離を測定する技術に望遠鏡を組み合わせて遠距離での距離計測精度を向上させる方法が開示されている。

　劣化画像復元処理を行う場合、各被写体のピンぼけ度合いの違いから、反復復元部の処理で画像内の複数の被写体の最適劣化復元回数が異なるのが普通である。即ち、図９に示すように収束判定用の評価関数、例えば、処理前後の画像や復元画像とボケを表す点広がり関数（ｈ^ＰＳＦ）とのコンボリューションとボケ画像のノルムが複数の極小値を取り、どれが正解か分からないという問題があった。
　これに対し、特開平０５−２０５０４８号公報には、画素毎に最適劣化復元判定を行い、復元完了画素の処理は凍結することで全ての画素の復元を行う技術が開示されている。この方法では、復元画像の各画素の近傍領域に対して隣接画素の差分を取るフィルタリングを施すことにより、当該近傍領域におけるノイズ（＝高域強調フィルタによるリンギング）を推定し、推定されたノイズの分散を求める。そして、画素値の分散とノイズの分散の差分が所定値より小さくなった画素については収束したと判定する。しかしながら、本方式はあくまで推定に基づいた方法であり、リンギングノイズと実画像とが混在した部分の誤差の混入の可能性は否めない。
　本発明の目的は、超解像処理の収束判定の誤判定をなくし、超解像処理の精度を向上させることが可能な画像処理装置を提供することにある。
　本発明は、劣化画像を復元する画像処理装置であって、被写体との距離を計測する手段と、被写体の画像を反復計算によって復元する画像復元手段と、前記画像復元処理の終了判定を行う終了判定手段とを具備し、前記終了判定手段は、前記計測手段によって計測された距離情報に基づく特定の距離レイヤのみ又は前記距離情報に基づく距離レイヤ毎に前記終了判定を行うことを特徴とする。

　図１は、本発明に係る画像処理装置の第１の実施形態を示すブロック図である。
　図２は、本発明の第１の実施形態の撮影処理を説明するフローチャートである。
　図３は、距離画像の一例を示す図である。
　図４は、本発明の第１の実施形態の画像処理を説明するフローチャートである。
　図５は、距離情報により撮影画像を分離した部分画像の一例を示す図である。
　図６は、本発明の第２の実施形態の画像処理を説明するフローチャートである。
　図７Ａ、７Ｂ、７Ｃは、距離情報毎の画像復元時のノルムを示す図である。
　図８は、本発明の第３の実施形態のＰＣでの処理を示すフローチャートである。
　図９は、全画面のノルムを示す図である。

　次に、発明を実施するための最良の形態について図面を参照して詳細に説明する。
（第１の実施形態）
　図１は本発明に係る画像処理装置の第１の実施形態の構成を示すブロック図である。特に、第１の実施形態は特定の距離レイヤに属する被写体の解像度復元処理を行う例を示すものである。
　図中１は撮影部、２は距離測定部である。距離測定部２には２眼ステレオ法を用いた例を示す。撮影部１内には撮像レンズ１２０、絞り１２１、ＣＣＤ等の撮像テバイス１２２が配置されている。１２３は撮像テバイス１２２からの撮像信号をＡＤ変換するＡＤＣ（ＡＤ変換器）、１２４はフィルタ処理等を行うカメラ処理部、１３０はメモリコントローラ、１３１はＳＤＲＡＭ等のメモリである。
　また、１３２は画像縮小部、１３３はＰＳＦテーブル、１３４は劣化画像復元部、１３５は画像処理効果判定部、１４０はコーディク、１４１はフラッシュメモリインターフェース、１４２はフラッシュメモリを示す。更に、１４３は表示インターフャース、１４４は液晶等の表示部、９８は十字パッド、９９はシャッター、１００はシステム全体を制御するシステムコントローラである。
　距離計測部２には、撮像レンズ１０４Ｒと１０４Ｌが配置され、各撮像レンズに対応して絞り１０５Ｒと１０５Ｌ、撮像デバイス（ＣＣＤ等）１０６Ｒと１０６Ｌ、ＡＤＣ（ＡＤ変換器）１０７Ｒと１０７Ｌが配置されている。また、１０８は被写体との距離を判定する距離判定部、１０９は距離画像作成部である。ＡＤＣ１２３及びＡＤＣ１０７Ｒと１０７ＬはＡＧＣ機能を持つ。
　なお、図１の左下に被写体の一例を示す（被写体は俯瞰図で示す）。図１では被写体を３つ示しているが、１０１は遠景被写体（実際は矢印で示す遙か左に存在する）、１０２は中間距離被写体、１０３は近景被写体を示す。
　次に、本実施形態の撮影処理動作を図１、図２、図３を用いて説明する。図２は本実施形態の撮影処理を示すフローチャートである。図３は距離画像作成部１０９による距離画像の一例を示す。
１．撮影準備時
　まず、シャッター９９が半押しされると（図２のＳ１０１）、システムコントローラ１００は撮影準備のため、撮影部１と距離計測部２のＡＥ（オートエクスポーズ）、ＡＦ（オートフォーカス）の処理を行う（Ｓ１０２）。通常、ＡＥ処理は重要な被写体の位置する中央部の明るさが露出オーバでも露出アンダーでも無い所定の値になるように絞り１２１、絞り１０５Ｌと１０５Ｒや、ＡＤＣ１０７Ｌと１０７Ｒ、ＡＤＣ１２３内のＡＧＣを制御する。
　一方、ＡＦ処理はＡＥの場合と同様に中央部のＡＤＣ出力の高周波成分が多くなるように撮像レンズ１０４Ｒと１０４Ｌ、撮像レンズ１２０を山登り法で調整する。距離計測部２は上述のように２眼ステレオ法を用いている。一般的に距離計測部２は撮影部１に対して小径レンズと小径且つモノクロのＣＣＤを使用することで被写界深度が深く、高感度となっている。
２．撮影時
　次にシャッター９９が全押しされると（Ｓ１０３）、撮影部１で撮像処理を行い、距離測定部２で距離画像の計測を行う（Ｓ１０４）。その際、ＡＤＣ１２３の出力はカメラ処理部１２４でフィルタ処理によりＢａｙｅｒ配列画像からＲＧＢ画像に変換され、メモリコントローラ１３０を経由してメモリ１３１へ書き込まれる（Ｓ１０５）。
　また、距離計測部２ではＡＤＣ１０７ＲとＡＤＣ１０７Ｌの各画素の出力が距離判定部１０８に入力される。ここで各画素の左右複数画素を左右方向にシフトして１ノルム（差分絶対値和）を計算し、最小値を得た時のシフト量からその画素の属するレイヤの距離を算出する。距離画像作成部１０９ではそれを各画素毎に算出することで、図３に示すような距離画像の作成を行い、撮影画像と同様にメモリコントローラ１３０を経由してメモリ１３１に書き込む（Ｓ１０５）。距離情報は、８ｂｉｔ程度のビットマップ情報で表される距離画像として記録される。
　図３に示す距離画像において、近景は黒、中距離は灰色（黒と白の中間で表す）、遠景は白で表す。なお、本実施例では、近景レイヤ、中距離レイヤ、遠景レイヤの境界を示す距離情報は事前に設定されているものとする（近景レイヤ：０−５ｍ、中距離レイヤ：５−２０ｍ、遠景レイヤ：２０ｍ−）。この境界を示す情報は、距離情報のヒストグラムに基づいて決定されても良い。例えば、頻度が少ない距離をレイヤの境界とすることにより、各レイヤごとの画像復元処理の違いにより生じる不均一さを最小化することができる。また、距離レイヤ数は、近景レイヤ、中距離レイヤ、遠景レイヤの３つに限られることはなく、レイヤ数は自然数Ｎ（Ｎ≧２）であればよい。瞳（絞り）の大きさにより被写界深度が異なるので、被写界深度に応じてレイヤ数を調整する必要がある。例えば、大口径レンズで絞りを開いた場合には、被写界深度が浅くなるので、より多くのレイヤ数が必要となる。また、分割間隔は、距離の逆数がほぼ一定になるように近景を細かく分割するのが良い。図１の左下に示すように近景被写体１０３は撮像デバイス１０６Ｌ、１０６Ｒで撮像される位置が外側にずれるが、殆ど平行光線となる実質無限遠の遠景被写体１０１は両撮像デバイスの同一位置に撮像される。このことは、特開平１１−２５７９５１号公報に詳しく記載されている。
　撮影後にはメモリ１３１に書き込まれた撮影画像と距離画像に加えて撮影パラメータ（フォーカス、ズーム、絞りの情報等）がメモリコントローラ１３０を経由して読み出される。必要に応じて撮影画像はコーデック１４０を経由し、フラッシュメモリコントローラ１４１を経由してフラッシュメモリ１４２に書き込まれる。
３．撮影後の画像確認
　撮影後、操作者が十字パッド９８を操作して指示することで、システムコントローラ１００によりフラッシュメモリ１４２から撮影済み画像がフラッシュメモリコントローラ１４１経由で読み出される。そして、メモリコントローラ１３０を経由してメモリ１３１へ書き込まれる。
　読み出された数メガピクセルの画像は、まず、小型のＶＧＡ程度の表示部１４４に画像縮小部１３２で縮小して表示される。縮小度合いを下げながら被写体の画像を注意深く確認すると、ＡＦの位置が所望の被写体（近景被写体）１０３でなく、背景の中間距離被写体１０２に合焦していることがある。
　特に、図１に示すような構図の場合、スポット測距方式だと、中心にフォーカスが合い、いわゆる中抜け後ピン現象が起こりやすい。しかし無限遠の遠景被写体１０１にピントが合っている大ボケ状態ではないので、撮影直後、小さなモニタ画面で簡単に見た程度では後ピン状態が確認できない場合が多い。
４．画像復元
　図４は本実施形態の画像復元処理を示すフローチャートである。図５は距離情報により撮影画像を分離した部分画像の例を示す。本実施形態の画像復元時の動作を図１、図４、図５を用いて説明する。
４．１画像復元前処理
　そこで画像復元処理を行う。その際、劣化画像を反復計算により画像復元処理を行う。まず、操作者が十字パッド９８を操作して何処の画像を復元したいかを指示することで、システムコントローラ１００は現在表示画像の復元処理を開始する。この例では近景の人物のどちらかを指示した場合を想定する。システムコントローラ１００は指示された画素の存在する距離画像から復元を行う領域を近景と判断し、収束判定には劣化画像ｇＮ^（ｎ）画素を用いることとする。
　ｇＮ^（ｎ）は劣化画像ｇ^（ｎ）の中で図３に黒で示す距離画像で近景（Ｎｅａｒ）に相当する部分の画素の集合であり、図５に示すＮｅａｒの画像である。メモリ１３１にある撮像パラメータと劣化画像（ｇ^（０）とする）をメモリコントローラ１３０を経由して劣化画像復元部１３４に送り、画像修復処理回数をカウントする繰り返し処理カウンタｎ＝０（初期化）とする。
　また、劣化画像処理の初期画像ｆ^（０）＝ｇ^（０）とするため、ｇ^（０）をメモリ内でコピーする。撮像パラメータとＰＳＦテーブル１３３から撮像時におけるｇＮ^（ｎ）の点広がり関数ｈＮ^ＰＳＦを得る（図４のＳ２０１）。
４．２画像復元繰り返し処理
　次に、劣化画像復元部１３４は１ステップの画像復元処理を行い（Ｓ２０２）、再度メモリコントローラ１３０を経由してメモリ１３０の別領域に書き込み、これを新しい復元途中画像ｆ^{（ｎ＋１）}とする。画像復元処理はイラニー・ペレッグ法を用いる場合を例とし、背景技術で説明した式（１）を使用する。
　その場合の計算式を図４に示す。ｈＮ^ＰＳＦは点広がり関数である。また、正規化定数ｃやｈ^ＡＵＸは背景技術で説明した通りである。
４．３収束判定
　次に、システムコントローラ１００は収束判定（終了判定）を行う（Ｓ２０３）。具体的には、‖ｇＮ^（ｎ）−ｇＮ^（０）‖を計算して保持する。ｇＮは図３の黒い部分の近景Ｎｅａｒと判断された領域における画素の、画像復元処理後の画像ｆＮ^（ｎ）と点広がり関数ｈＮ^ＰＳＦをコンボリューションして作った疑似ボケ画像ｇＮ^（ｎ）撮影時に得たボケ画像ｇＮ^（０）とのノルムである。
　ここで、‖ｇＮ^（ｎ）−ｇＮ^（０）‖と‖ｇＮ^{（ｎ＋１）}−ｇＮ^（０）‖を比較し、後に処理した値が前者より大きい場合には過剰処理として収束と判断（終了判定）し、最適復元処理画像ｆをこの時点のｆ^（ｎ）とする。もし、まだならば、システムコントローラ１００はｆ^（ｎ）＝ｆ^{（ｎ＋１）}と代入し、Ｓ２０２（４．２の処理）に戻って画像修復処理を行い、Ｓ２０３にて終了判定を行う。
　収束したと判定した場合には、システムコントローラ１００は最適復元画像ｆをメモリ１３１からメモリコントローラ１３０を経由して読み出し、フラッシュメモリコントローラ１４１を経由してフラッシュメモリ１４２へ書き込む（Ｓ２０４）。以上で画像復元処理を終了する。ここで、コーデック１４０で再度圧縮するか、以前のボケ画像を丸ごと重ね書きして消去するか、ボケ画像の近景（Ｎｅａｒ）部のみを最適復元画像ｆで置き換えるかは操作者が十字パッド９８で指示して決める等すれば良い。
　本実施形態では、指定された距離レイヤの画素のみを超解像処理を行う際の収束判定関数に使用する。即ち、距離情報から距離レイヤを作成し、特定の距離レイヤのみ超解像処理の終了判定を行うため、収束評価の極小値の数は１つとなる。従って、判定結果を示す極小値が複数発生することがないため、誤判定をすることが全くなくなり、精度の良い画像復元処理を行うことが可能となる。また、本実施例ではモノクロ画像で説明したが、カラー画像の場合には、一般的にＲＧＢ信号を、輝度と色差を表すＹＵＶ信号に変換し、Ｙのみで収束判定を行い、画像処理はＹＵＶ全てに等価に行う。ＵＶ信号のサブサンプルやＪＰＥＧ圧縮は画像復元後に行うのが良い。
（第２の実施形態）
　次に、本発明の第２の実施形態を図１、図３、図６を用いて説明する。図６は本実施形態の画像復元処理を示すフローチャートである。本実施形態は、すべての距離レイヤ、この場合には近景（Ｎ）、中間距離（Ｍ）、遠景（Ｆ）の３つの距離レイヤに属する被写体の解像度復元処理を行う例である。それぞれの距離レイヤにおける画像復元処理は基本的に第１の実施形態と同様である。また、本実施形態の構成は図１と同様である。なお、１．撮影準備時の動作、２．撮影時の動作、３．撮影後画像確認の動作は第１の実施形態と同様であるので説明は省略する。
４．画像復元
４．１画像復元前処理
　操作者が十字パッド９８を操作してすべての距離の画像を復元したいと指示することでシステムコントローラ１００は現在表示画像の復元処理を開始する。システムコントローラ１００は距離画像から復元を行う領域が近景（Ｎ）、中間距離（Ｍ）、遠景（Ｆ）の３つのレイヤに分けられると判断し、収束判定には各劣化画像ｇＮ、ｇＭ、ｇＦの画素を用いることとする。
　また、システムコントローラ１００は撮像時のパラメータと撮影画像に存在する距離情報から、想定される点広がり関数、本実施形態では、ｈＮ^ＰＳＦ、ｈＭ^ＰＳＦ、ｈＦ^ＰＳＦをＰＳＦテーブル１３３から得る（Ｓ３０１）。
　更に、復元途中画像の初期画像ｆＮ^（０）＝ｆＭ^（０）＝ｆＦ^（０）＝ｇ^（０）とするため、画像修復処理回数をカウントする繰り返し処理カウンタｎ＝０（初期化）とする（Ｓ３０１）。
４．２画像復元繰り返し処理
　次にシステムコントローラ１００は、メモリ１３１にある復元途中画像（ｆＮ^（ｎ）、ｆＭ^（ｎ）、ｆＦ^（ｎ））をメモリコントローラ１３０を経由して劣化画像復元部１３４に送り、１ステップの画像復元処理を行う。また、再度メモリコントローラ１３０を経由してメモリ１３１の別領域に書き込み、これを新しい復元途中画像（ｆＮ^{（ｎ＋１）}、ｆＭ^{（ｎ＋１）}、ｆＦ^{（ｎ＋１）}）とする。近景画像、中間距離画像、遠景画像の画像復元処理に上記式（１）を用いるのは第１の実施形態と同様である。
　図６では近景画像に関しては近景画像修復処理をＳ３０２にて行い、中間距離画像に関しては中間画像修復処理をＳ３０５にて行い、遠景画像に関しては遠景画像修復処理をＳ３０８にて行う。Ｓ３０２の近景画像、Ｓ３０５の中間距離画像、Ｓ３０８の遠景画像の画像復元処理には上述のように式（１）を用いる。
　図６にはそれぞれの画像復元処理の計算式を示すが、ｈＮ^ＰＳＦ、ｈＭ^ＰＳＦ、ｈＦ^ＰＳＦは上述のように点広がり関数である。
４．３収束判定
図６では近景画像収束判定（終了判定）をＳ３０３にて行い、中間距離画像終了判定をＳ３０６にて行い、遠景画像終了判定をＳ３０９にて行う。Ｓ３０３、Ｓ３０６、Ｓ３０９における収束判定処理に関して詳しく説明する。システムコントローラ１００は、‖ｇＮ^{（ｎ＋１）}−ｇＮ^（０）‖、‖ｇＭ^{（ｎ＋１）}−ｇＭ^（０）‖、‖ｇＦ^{（ｎ＋１）}−ｇＦ^（０）‖を計算し、それぞれ保持する。
　‖ｇＮ^{（ｎ＋１）}−ｇＮ^（０）‖に関して説明する。即ち図３の近景Ｎｅａｒと判断されたレイヤの画像復元処理後の画像と該当距離のボケ関数ｈＮ^ＰＳＦをコンボリューションして作った疑似ボケ画像ｇＮ^{（ｎ＋１）}と撮影時に得たボケ画像ｇ^（０）の領域ｇＮ^（０）とから計算されるノルムである。
　‖ｇＭ^{（ｎ＋１）}−ｇＭ^（０）‖に関した説明する。即ち図３の中間距離Ｍｉｄｄｌｅと判断されたレイヤの画像復元処理後の画像と該当距離のボケ関数ｈＭ^ＰＳＦをコンボリューションして作った疑似ボケ画像ｇＭ^{（ｎ＋１）}と撮影時に得たボケ画像ｇ^（０）の領域ｇＭ^（０）とから計算されるノルムである。
　‖ｇＦ^{（ｎ＋１）}−ｇＦ^（０）‖に関して説明する。図３の遠景Ｆａｒと判断されたレイヤの画像復元処理後の画像と該当距離のボケ関数ｈＦ^ＰＳＦをコンボリューションして作った疑似ボケ画像ｇＦ^{（ｎ＋１）}と撮影時に得たボケ画像ｇ^（０）の領域ｇＦ^（０）とから計算されるノルムである。
　次に、近景画像に関して、‖ｇＮ^（ｎ）−ｇ^（０）‖と‖ｇＮ^{（ｎ＋１）}−ｇ^（０）‖を比較し、後に処理した結果が前者より大きい場合には過剰処理として収束と判断する（Ｓ３０３）。そして、最適復元処理画像をこの時点のｎを付したｆＮ^（ｎ）として保持する（Ｓ３０４）。同様にして、他の中間距離画像や遠景画像の距離部分に関しても計算し、Ｓ３０６或いはＳ３０９にて過剰処理と判断した時点の、ｆＭ^（ｎ）、ｆＦ^（ｎ）を保持する（Ｓ３０７、Ｓ３１０）。
　それぞれの距離部分において収束していないと判定した場合には、システムコントローラ１００は収束が完了していない距離、例えば、近景画像の場合には、ｆＮ^（ｎ）＝ｆＮ^{（ｎ＋１）}を代入し、Ｓ３０２（４．２の画像復元処理）に戻る。そして、同様に近景画像修復処理を行い、Ｓ３０３にて収束判定を行う。
　また、中間距離画像の場合には、ｆＭ^（ｎ）＝ｆＭ^{（ｎ＋１）}を代入し、Ｓ３０５に戻って同様に中間距離画像修復処理を行い、Ｓ３０６にて収束判定を行う。更に、遠景画像の場合には、ｆＦ^（ｎ）＝ｆＦ^{（ｎ＋１）}を代入し、Ｓ３０８に戻って同様に遠景画像修復処理を行い、Ｓ３０９にて収束判定を行う。
　図７Ａ、７Ｂ、７Ｃは距離情報毎（Ｆａｒ、Ｍｉｄｄｌｅ、Ｎｅａｒ）の画像復元時のノルムを示す。いずれの場合も収束評価の極小値の数は１つであり、判定結果を示す極小値が複数発生することはない。
５．画像合成
　次に、図３に示す距離画像の黒い近景部分はＳ３０４で保持したｆＮ（ｎ）を、中距離部分はＳ３０７で保持したｆＭ（ｎ）を、遠景部分はＳ３１０で保持したｆＦ（ｎ）（各ｎは異なる）を用いて合成する（Ｓ３１１）。そうすることで、全ての距離において劣化画像が復元された画像ｆを得ることが可能となる。
　次に、システムコントローラ１００は、復元画像ｆをメモリ１３１からメモリコントローラ１３０を経由して読み出し、フラッシュメモリコントローラ１４１を経由してフラッシュメモリ１４２へ書き込む（Ｓ３１１）。以上で画像復元処理を終了する。コーデック１４０で再度圧縮するか、以前のボケ画像を重ね書きして消去するかは操作者が十字パッド９８で指示して決める等すれば良いのは第１の実施形態と同様である。
　本実施形態では、距離情報から距離レイヤを作成し、距離レイヤ毎に超解像処理の収束判定を行うため、収束評価の極小値の数は１つとなり、判定結果を示す極小値が複数発生することがない。従って、誤判定をすることが全くなくなり、精度の良い画像復元処理を行うことが可能となる。
　なお、本実施形態では、３つの距離レイヤに属する被写体の解像度復元処理を行う例を示したが、本発明はこれに限ることはなく、それ以下或いはそれ以上の距離レイヤ毎に処理を行っても良い。
（第３の実施形態）
　次に、本発明の第３の実施形態を説明する。本実施形態はＰＣ側で劣化画像を復元する場合の例を示す。即ち、図１のカメラで撮影した画像をＰＣに送り、ＰＣ側で劣化画像を復元する例を示すものである。図８は本実施形態の処理を示すフローチャートである。なお、１．撮影準備時の動作、２．撮影時の動作、３．撮影後画像確認の動作はカメラ側の処理なので第１の実施形態と同様である。
　図８において、ユーザはフラッシュメモリをＰＣに装着し、劣化画像復元処理アプリケーションをＰＣ上で起動する。すると、劣化画像復元処理アプリケーションは撮像した画像、距離画像、カメラパラメータをフラッシュメモリから読み出し、ＰＣの記録媒体に書き込み各画像を表示する（Ｓ４０１）。
　ユーザは画面で画像を確認し、第１の実施形態の特定の領域の劣化画像復元処理か、第２の実施形態の全領域の劣化画像復元処理かの希望条件を入力し、画像を修復する方式の指定を行う（Ｓ４０２）。
　劣化画像復元処理アプリケーションはその指定に応じて第１又は第２の実施形態で説明したアルゴリズムで処理を行う（Ｓ４０３）。その際、第２の実施形態では３つの距離レイヤに関して画像を復元しているが、これに限ることはない。
　ＰＣはＳ４０４で画像修復が完了すると、処理完了後の復元画像をユーザに提示する。ユーザは復元画像がＯＫなら（Ｓ４０５）、その画像をＰＣの記録媒体に書き込む（Ｓ４０６）。例えば、全領域の劣化画像を復元したが、背景にはボケ味が欲しいからＮＧと判断すると、再度特定領域の劣化画像復元処理を指示し、修復条件を変更して劣化画像復元処理をする。処理終了後にその画像を確認の上、ＰＣの記録媒体に書き込む。
　具体的には、Ｓ４０５でユーザがＮｏと判断すれば、Ｓ４０２に戻って上述のように希望条件で画像を修復する指定を行い、画像の修復条件を変更する。その際、例えば、背景にボケ味が欲しいのであれば、その背景部分は劣化画像のままとし、他の人物等の画像は画像復元処理を行うように条件を指定すれば良い。
　（その他の実施例）
　また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
　この出願は２００８年９月４日に出願された日本国特許出願番号第２００８−２２６９７６号からの優先権を主張するものであり、その内容を引用してこの出願の一部とするものである。

Claims

被写体の画像を含む劣化画像を復元する画像処理装置であって、前記被写体との距離を計測することで、前記被写体の属する距離レイヤを設定する計測手段と、前記劣化画像を反復計算によって復元する画像復元手段と、前記画像復元手段による反復計算の終了判定を行う終了判定手段とを具備し、前記終了判定手段は、前記距離レイヤのうち特定の距離レイヤのみ又は前記距離レイヤ毎に前記終了判定を行うことを特徴とする画像処理装置。
前記画像復元手段は、前記距離レイヤ毎に前記終了判定を行う場合には、前記距離レイヤ毎の復元画像を合成することを特徴とする請求項１に記載の画像処理装置。
更に、画像の修復条件を指定する指定手段と、復元された復元画像を提示する手段とを具備し、前記提示された復元画像を変更する場合には、再度、前記指定手段により前記画像の修復条件を指定して、劣化画像の修復を行うことを特徴とする請求項１又は２に記載の画像処理装置。
前記指定手段により前記画像の修復条件を指定して、再度、劣化画像を復元する際に、前記復元画像のうち劣化画像のままとする画像がある場合には、当該画像は劣化画像のままとし、他の距離レイヤの画像を復元処理することを特徴とする請求項３に記載の画像処理装置。
被写体の画像を含む劣化画像を復元する画像処理方法であって、前記被写体との距離を計測することで、前記被写体の属する距離レイヤを設定する計測工程と、前記劣化画像を復元する際の反復計算の終了判定を設定する終了判定設定工程と、前記終了判定に基づいて、前記劣化画像を反復計算により復元する画像復元工程と、を有し、前記終了判定設定工程は、前記距離レイヤのうち特定の距離レイヤのみ、又は前記距離レイヤ毎に前記終了判定を設定することを特徴とする画像処理方法。