JPWO2014155755A1 - 画像処理装置、撮像装置、画像処理方法及びプログラム並びに記録媒体 - Google Patents

Abstract

点像復元処理部３６における復元処理が、階調補正（ガンマ補正処理）後の原画像データに対して行われる。「原画像データを解析して取得される画像解析データ及び原画像データの取得条件を示す画像取得条件データのうち少なくともいずれか一方を含む画像情報が、復元処理により回復画像データにリンギングが生じる条件に該当するか否か」がリンギング判定部３８において判定される。リンギング判定部３８の判定結果に基づいて画像処理がコントロールされ、例えば、回復画像データにおいてリンギングの発生可能性が低い場合には復元処理が行われ、リンギングの発生可能性が高い場合には復元処理がスキップされる。このように被写体像の特性（特徴）に応じた点像復元処理を行うことで、回復画像におけるリンギング等の画質劣化を低減することができる。

Description

本発明は、点拡がり関数に基づく復元処理に係る画像処理装置、撮像装置、画像処理方法及びプログラム並びに記録媒体に関する。

撮像光学系を介して撮影される被写体像には、撮像光学系に起因する回折や収差等の影響により、点被写体が微小な広がりを持つ所謂点拡がり現象が見られることがある。光学系の点光源に対する応答を表す関数は点拡がり関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）と呼ばれ、撮影画像の解像度劣化（ぼけ）を左右するパラメータとして知られている。

この点拡がり現象のために画質劣化した撮影画像は、ＰＳＦに基づく点像復元処理を受けることで画質を回復することができる。点像復元処理は、レンズ（光学系）の収差等に起因する劣化特性（点像特性）を予め求めておき、その点像特性に応じた復元フィルタ（回復フィルタ）を用いる画像処理によって撮影画像の点拡がりをキャンセルする処理である。

この点像復元処理については様々な手法が提案されており、例えば特許文献１は、一旦回復処理が行われた画像に関し、その後に回復処理の強さを変更することができる画像処理装置を開示する。この画像処理装置では、補正フィルタを撮影画像に適用することで補正画像が生成され、撮影画像と補正画像との差分画像が生成され、撮影画像、補正画像及び差分画像が保存される。

また特許文献２は、非線形補正が行われた画像に対してブラインドデコンボリューションを用いて画像回復を行う画像処理装置を開示する。この画像処理装置は、非線形な階調補正が施された撮影画像に対して非線形な階調補正を低減する補正を行う補正部と、階調補正が低減された撮影画像に対してブラインドデコンボリューションを適用して画像回復を行う画像回復部とを備える。

また特許文献３は、画像回復処理による画像データの過回復を低減させる画像処理装置を開示する。この画像処理装置では、ガンマ処理前にＲＧＢ形式のカラー画像データに対する画像回復処理が行われ、ガンマ補正による画素信号値の増幅及び減衰の違いが吸収され、画素信号値の変化量の最大値がガンマ補正後でも一定になるように変化量の制限値が算出される。これにより、「飽和画素によって、実際に得られる画像データの劣化状態と、画像回復フィルタが回復対象として想定している画像データの劣化状態とが、一致しない事態が発生する」、「エッジ部分でアンダーシュートやオーバーシュートといった画質劣化が発生し、特に低輝度部でのアンダーシュートが画像回復処理後のガンマ処理によって増幅される」といった技術上の課題の解決が図られている。

また、光学系の点拡がり関数は、焦点深度が拡大された画像の復元技術でも使われている。例えば特許文献４は、画像復元を短時間かつ精度良く実行する撮像モジュールを開示する。この撮影モジュールでは、デモザイク処理（同時化処理）後の輝度信号に復元処理をかけることで、復元処理のパラメータをＲＧＢ別々に持つ必要がなくなり、復元処理が高速化する。また、近接する画素同士を所定の単位にまとめ、その単位には共通の復元処理パラメータを適用してデコンボリューション処理することで、復元処理精度の向上が図られている。

特開２０１１−１５１６２７号公報 特開２０１１−０５９８１３号公報 特開２０１３−０２０６１０号公報 特開２０１２−０４９７５９号公報

上述の点像復元処理は、光学系による点拡がり現象（撮像光学特性）のためにぼけた画像を本来のシャープな画像に復元する処理であり、画質劣化した原画像データに対して点拡がり関数に基づく復元フィルタを適用することで画質劣化が除去された回復画像を取得する技術である。

したがって、被写体像を忠実に再現した回復画像を得るためには、点像復元処理に使用する「復元フィルタの特性」と「原画像データの画質劣化」とが適切にマッチングしていることが必要とされる。

すなわち、光学系によってもたらされる画質劣化が正確に把握され、そのような画質劣化を厳密に除去可能な復元フィルタが設計され、光学系による画質劣化（点拡がり現象）が原画像データに的確に反映されていれば、原理的には、「画質劣化した撮影画像」から「被写体像が忠実に再現された高画質な画像」を得ることが可能である。

しかしながら、被写体像や撮影機器類の特性によっては、「復元フィルタの特性」と「原画像データの画質劣化」とが適切にマッチングしないことがある。

例えば、原画像データは、撮像素子の撮像能力によって画質が変動し、被写体像が非常に明るい場合には撮像素子において画素飽和現象が生じることがある。このような画素飽和が生じた場合、その飽和画素データ（飽和画素値）がクリッピング等されるため、得られる原画像データは必ずしも被写体像を忠実に再現するものではない。

このように、復元処理の対象となる原画像データは、光学系に由来する劣化特性の影響だけではなく撮像素子に由来する劣化特性の影響も受け、特に被写体像のコントラストが大きい場合には想定外の画質劣化を生じることがある。

したがって、光学系の特性を十分に解析して点拡がり現象の影響を抑制可能な復元フィルタが設計されていても、被写体像によっては、「復元フィルタの特性」と「原画像データの画質劣化」とが適切にマッチングしないことがある。

「復元フィルタの特性」と「原画像データの画質劣化」とが適切にマッチングしていない条件下で復元処理が行われると、画質劣化が十分には取り除かれず良質の回復画像が得られず、場合によっては画質劣化を助長してしまいリンギング等が回復画像において目立ってしまうこともある。

上述の特許文献１〜４では、これらの課題に対する言及は全くなされておらず、「点拡がり関数を利用した復元処理における画像タフネス性に着目し、画像の特性（特徴）に応じて処理を変化させる」観点での提案等はなされていない。

本発明は上述の事情に鑑みてなされたものであり、被写体像の特性に応じた点像復元処理を行うことで、回復画像におけるリンギング等の画質劣化を抑える技術を提供することを目的とする。

本発明の一態様は、光学系を用いた撮影により撮像素子から取得される原画像データを解析して取得される画像解析データ及び原画像データの取得条件を示す画像取得条件データのうち、少なくともいずれか一方を含む画像情報を取得する画像情報取得部と、原画像データに対し、光学系の点拡がり関数に基づく復元フィルタを用いた復元処理を行って回復画像データを得る復元処理部と、画像情報が、復元処理により回復画像データにリンギングが生じる条件に該当するか否か判定するリンギング判定部と、リンギング判定部の判定結果に基づいて、画像処理をコントロールする処理制御部と、を備え、復元処理は、階調補正後の原画像データに対して行われる画像処理装置に関する。

本態様によれば、光学系の点拡がり関数に基づく復元処理が階調補正後の原画像データに対して行われ、復元処理により回復画像データにリンギングが生じる条件に画像情報が該当するか否かによって画像処理がコントロールされる。したがって、回復画像データにおけるリンギングの発生状況に応じて柔軟に画像処理をコントロールすることができ、リンギングの発生／強調を効果的に防ぐことが可能である。このように復元処理をコントロールすることで、「ユーザに提供する画像（画像データ）の解像感の向上」と「復元処理によって画像（画像データ）に生じうるリンギングの抑制」とを両立させることが可能である。

本発明の他の態様は、光学系を用いた撮影により撮像素子から取得される原画像データを解析して取得される画像解析データ及び原画像データの取得条件を示す画像取得条件データのうち、少なくともいずれか一方を含む画像情報を取得する画像情報取得部と、原画像データに対し、光学系の点拡がり関数に基づく復元フィルタを用いた復元処理を行って回復画像データを得る復元処理部と、原画像データの階調補正を行う階調補正部と、画像情報が、復元処理により回復画像データにリンギングが生じる条件に該当するか否か判定するリンギング判定部と、リンギング判定部の判定結果に基づいて、復元処理をコントロールする処理制御部と、を備え、処理制御部は、リンギング判定部の判定結果に基づいて、階調補正前の原画像データ及び階調補正後の原画像データのうちいずれに対して復元処理を行うか決定する画像処理装置に関する。

本態様によれば、復元処理により回復画像データにリンギングが生じる条件に画像情報が該当するか否かに応じて、階調補正前の原画像データ及び階調補正後の原画像データのうちいずれに対して復元処理を行うかが決定される。復元処理後に階調補正が行われると、階調補正によって復元処理の副作用（リンギング等）が強調される可能性がある。したがって、リンギングが生じる条件に画像情報が該当する場合、階調補正後の原画像データに対して復元処理を行うことで、そのような復元処理の副作用（リンギング等）が階調補正によって強調されてしまうということを防ぐことができる。

望ましくは、階調補正は、対数化処理による階調補正であり、復元フィルタは、対数化処理前の画像データに対応したフィルタ係数から成る。

本態様によれば、対数化処理後の原画像データに対し、敢えて、対数化処理前の画像データに対応したフィルタ係数から成る復元フィルタを用いて復元処理を行うことで、復元処理で発生するリンギングによる画質劣化に対するタフネス性が向上し、リンギングの影響を画像（画像データ）上で目立たせないようにすることができる。

望ましくは、階調補正は、対数化処理による階調補正であり、復元フィルタは、対数化処理後の画像データに対応したフィルタ係数から成る。

本態様によれば、対数化処理後の原画像データに対し、対数化処理後の画像データに対応したフィルタ係数から成る復元フィルタを用いて復元処理を行うことで、復元処理で発生するリンギングによる画質劣化に対するタフネス性が向上し、リンギングの影響を画像上で目立たないようにでき、また、復元精度を向上させることが可能である。

望ましくは、復元処理は、原画像データの振幅成分のみを復元して回復画像データを得る処理である。

本態様によれば、復元処理が位相成分の復元を伴わずにリンギングが発生し易い場合であっても、階調補正後の原画像データに対して復元処理が行われ、リンギングが発生する状況か否かに応じた柔軟な画像処理コントロールが可能である。

望ましくは、復元処理は、原画像データの振幅成分及び位相成分を復元して回復画像データを得る処理である。

本態様によれば、復元処理が位相成分の復元を伴いリンギングを低減することができる場合であっても、階調補正後の原画像データに対して復元処理が行われ、画像タフネス性（画像非破綻性）を更に向上することができ、リンギングが発生する状況か否かに応じた柔軟な画像処理コントロールが可能である。

望ましくは、画像処理装置は、復元処理が、原画像データの振幅成分のみを復元して回復画像データを得る処理であるか、原画像データの振幅成分及び位相成分を復元して回復画像データを得る処理であるかについての復元処理情報を取得する復元処理情報取得部を更に備え、処理制御部は、リンギング判定部の判定結果に加え、復元処理情報取得部が取得する復元処理情報に基づいて、階調補正前の原画像データ及び階調補正後の原画像データのうちいずれに対して復元処理を行うか決定する。

本態様によれば、リンギング判定部の判定結果及び復元処理情報に基づいて、階調補正前の原画像データ及び階調補正後の原画像データのうちいずれに対して復元処理を行うかが決定される。したがって、例えば位相成分の復元を伴うか否かを加味し、階調補正前の原画像データ及び階調補正後の原画像データのうちいずれに対して復元処理を行うかを決定することが可能である。

望ましくは、画像情報取得部は、画素値が飽和した画素データ又は閾値よりも大きな画素値を有する画素データが、原画像データに含まれるか否かを示す画像解析データを含む画像情報を取得する。

本態様によれば、画素値が飽和した画素データ又は閾値よりも大きな画素値を有する画素データが原画像データに含まれるか否かに基づいて、リンギングが生じる条件か否かが判定される。

望ましくは、画像取得条件データは、原画像データを取得する撮影に用いられた光学系の情報を含む。

本態様によれば、リンギングの発生に影響を及ぼしうる「光学系の情報」に基づいて、リンギングが生じる条件か否かが判定される。

望ましくは、光学系の情報は、原画像データを取得する撮影に用いられた光学系のレンズ種類、絞り値、ズーム値のうち少なくともいずれか１つを含む。

本態様によれば、リンギングの発生に影響を及ぼしうる「光学系のレンズ種類、絞り値、ズーム値のうち少なくともいずれか１つ」に基づき、リンギングが生じる条件か否かが判定される。

望ましくは、処理制御部は、リンギング判定部の判定結果に基づいて、復元処理部における復元処理の実行の有無を決定する。

本態様によれば、リンギング判定部の判定結果が「リンギングが生じる条件に画像情報が該当する」ことを示す場合には復元処理を実行しないこととすることで、リンギング等の画質劣化が生じた画像（画像データ）がユーザに提供されることを防ぐことができる。

望ましくは、処理制御部は、リンギング判定部の判定結果に基づいて、復元処理で用いる復元フィルタを決定する。

本態様によれば、リンギング判定部の判定結果に応じた復元フィルタを復元処理で使用することができ、「リンギングが生じる条件に画像情報が該当する」ことを示す場合にはリンギングを防いだ復元フィルタを使用することで、リンギング等の画質劣化が生じた画像（画像データ）がユーザに提供されることを防ぐことができる。

望ましくは、画像処理装置は、原画像データの階調補正を行う階調補正部を備える。また望ましくは、処理制御部は、リンギング判定部の判定結果に基づいて、階調補正部における階調補正をコントロールする。

本態様によれば、リンギングが生じる条件に画像情報が該当するか否かによって階調補正をコントロールすることができ、復元処理によって生じたリンギング等の副作用が階調補正によって過度に強調されることを防ぐことができる。

望ましくは、原画像データは、輝度データを含み、復元処理部は、原画像データの輝度データに対して復元処理を行う。

望ましくは、原画像データは、色データを含み、復元処理部は、原画像データの色データに対して復元処理を行う。

望ましくは、処理制御部は、リンギング判定部の判定結果に基づいて、原画像データの輝度データ及び色データのうちいずれに対して復元処理を行うか決定し、復元処理部は、原画像データの輝度データ及び色データのうち処理制御部によって決定されたデータに対して復元処理を行う。

本態様によれば、リンギングが生じる条件に画像情報が該当するか否かによって、原画像データの輝度データ及び色データのうちいずれに対して復元処理を行うかがコントロールされる。したがって、例えば、リンギングが生じる条件に画像情報が該当する場合、不要な色付き等の不具合が生じることを防ぐ観点から、原画像データの輝度データに対して復元処理が行われるようにしてもよい。また、リンギングが生じる条件に画像情報が該当しない場合、高精度な色再現性を優先させる観点から、原画像データの色データに対して復元処理が行われるようにしてもよい。

望ましくは、光学系は、位相を変調して被写界深度を拡大させるレンズ部を有する。

本態様によれば、いわゆるＥＤｏＦ（Ｅｘｔｅｎｄｅｄ Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ（Ｆｏｃｕｓ））光学系を介して得られる原画像データに関しても、リンギングが生じる条件に画像情報が該当するか否かによって、画像処理・復元処理をコントロールすることができる。なお、レンズ部における位相を変調させる手法（光学的位相変調手段）は特に限定されず、レンズ間に位相変調部を設けたり、レンズ自体（例えばレンズの入射面／出力面）に位相変調機能を持たせたりすることも可能である。

望ましくは、処理制御部は、原画像データ毎に、画像処理又は復元処理をコントロールする。

望ましくは、処理制御部は、原画像データを構成する画素データ毎に、画像処理又は復元処理をコントロールする。

画像処理又は復元処理は、原画像データ毎にコントロールされてもよいし、画素データ毎にコントロールされてもよい。画像処理又は復元処理を原画像データ毎にコントロールする場合には処理を簡素化することが可能であり、画像処理又は復元処理を画素データ毎にコントロールする場合には画像中の必要箇所にのみ処理を適用することが可能である。

本発明の他の態様は、光学系を用いた撮影により原画像データを出力する撮像素子と、上記の画像処理装置と、を備える撮像装置に関する。

本発明の他の態様は、光学系を用いた撮影により撮像素子から取得される原画像データを解析して取得される画像解析データ及び原画像データの取得条件を示す画像取得条件データのうち、少なくともいずれか一方を含む画像情報を取得する画像情報取得ステップと、原画像データに対し、光学系の点拡がり関数に基づく復元フィルタを用いた復元処理を行って回復画像データを得る復元処理ステップと、画像情報が、復元処理により回復画像データにリンギングが生じる条件に該当するか否か判定するリンギング判定ステップと、を含み、リンギング判定ステップの判定結果に基づいて、画像処理がコントロールされ、復元処理は、階調補正後の原画像データに対して行われる画像処理方法に関する。

本発明の他の態様は、光学系を用いた撮影により撮像素子から取得される原画像データを解析して取得される画像解析データ及び原画像データの取得条件を示す画像取得条件データのうち、少なくともいずれか一方を含む画像情報を取得する画像情報取得ステップと、原画像データに対し、光学系の点拡がり関数に基づく復元フィルタを用いた復元処理を行って回復画像データを得る復元処理ステップと、原画像データの階調補正を行う階調補正ステップと、画像情報が、復元処理により回復画像データにリンギングが生じる条件に該当するか否か判定するリンギング判定ステップと、を含みリンギング判定ステップの判定結果に基づいて、復元処理はコントロールされ、リンギング判定ステップの判定結果に基づいて、階調補正前の原画像データ及び階調補正後の原画像データのうちいずれに対して復元処理を行うかが決定される画像処理方法に関する。

本発明の他の態様は、光学系を用いた撮影により撮像素子から取得される原画像データを解析して取得される画像解析データ及び原画像データの取得条件を示す画像取得条件データのうち、少なくともいずれか一方を含む画像情報を取得する手順と、原画像データに対し、光学系の点拡がり関数に基づく復元フィルタを用いた復元処理を行って回復画像データを得る手順と、画像情報が、復元処理により回復画像データにリンギングが生じる条件に該当するか否か判定する手順と、をコンピュータに実行させるためのプログラムであって、リンギングが生じる条件に画像情報が該当するか否かの判定結果に基づいて、画像処理がコントロールされ、復元処理は、階調補正後の原画像データに対して行われるプログラムに関する。

本発明の他の態様は、光学系を用いた撮影により撮像素子から取得される原画像データを解析して取得される画像解析データ及び原画像データの取得条件を示す画像取得条件データのうち、少なくともいずれか一方を含む画像情報を取得する手順と、原画像データに対し、光学系の点拡がり関数に基づく復元フィルタを用いた復元処理を行って回復画像データを得る手順と、原画像データの階調補正を行う手順と、画像情報が、復元処理により回復画像データにリンギングが生じる条件に該当するか否か判定する手順と、をコンピュータに実行させるためのプログラムであって、リンギングが生じる条件に画像情報が該当するか否かの判定結果に基づいて、復元処理はコントロールされ、リンギングが生じる条件に画像情報が該当するか否かの判定結果に基づいて、階調補正前の原画像データ及び階調補正後の原画像データのうちいずれに対して復元処理を行うかが決定されるプログラムに関する。

本発明の他の態様は、上述した態様のプログラムのコンピュータ読み取り可能なコードが記録された、非一時的記録媒体に関する。そのような記録媒体としては、CD（Compact Disk）、DVD（Digital Versatile Disk）、HD（Hard Disk）、SSD（Solid State Drive）、USBメモリ等の、各種の光磁気記録媒体や半導体記録媒体を用いることができる。

本発明の一態様によれば、回復画像データにおいてリンギングが生じる条件に画像情報（画像解析データ及び／又は画像取得条件データ）が該当するか否かに基づいて、画像処理がコントロールされる。したがって、被写体像の特性に応じた復元処理を行うことができ、回復画像における画質劣化を抑えることができる。

本発明の他の態様によれば、そのような画像情報に基づいて復元処理自体をコントロールすることができ、画像情報に応じた復元処理を行うことによって回復画像における画質劣化を効果的に取り除くことができる。

図１は、コンピュータに接続されるデジタルカメラの概略を示すブロック図である。 図２は、カメラ本体コントローラの機能構成例を示すブロック図である。 図３は、画像撮影から点像復元処理までの概略を示す図である。 図４は、点像復元処理の一例の概略を示すブロック図である。 図５は、理想的な点像復元処理（画素値の飽和無し、クリッピング無し）が行われる場合における、被写体像中のエッジ部分のコントラスト変化の一例を示す図であり、（ａ）は被写体像が本来有するコントラストを示し、（ｂ）は点像復元処理前の原画像データにおけるコントラストを示し、（ｃ）は点像復元処理後の回復画像データにおけるコントラストを示す。 図６は、実際の点像復元処理（画素値の飽和有り、クリッピング有り）における、被写体像中のエッジ部分のコントラスト変化の一例を示す図であり、（ａ）は被写体像が本来有するコントラストを示し、（ｂ）は点像復元処理前の原画像データにおけるコントラストを示し、（ｃ）は点像復元処理後の回復画像データにおけるコントラストを示す。 図７Ａは、画像処理部（カメラ本体コントローラ）における各種の画像処理フローを例示するブロック図である。 図７Ｂは、画像処理部（カメラ本体コントローラ）における各種の画像処理フローを例示する他のブロック図である。 図７Ｃは、画像処理部（カメラ本体コントローラ）における各種の画像処理フローを例示する他のブロック図である。 図７Ｄは、画像処理部（カメラ本体コントローラ）における各種の画像処理フローを例示する他のブロック図である。 図８は、点像復元処理に対する「階調補正処理（ガンマ補正処理）」及び「色データ／輝度データ」の相関を示す図である。 図９は、点像復元処理によるオーバーシュートの発生メカニズムを説明するための図である。 図１０は、ガンマ処理（対数化処理）による処理前データと処理後データとの間の関係の一例を示す図である。 図１１は、第１実施形態に係る画像処理ブロックを示す図である。 図１２は、図１１に示す画像処理ブロックによる点像復元処理フローを示す図である。 図１３は、第１実施形態の一変形例に係る画像処理ブロックを示す図である。 図１４は、第１実施形態の他の変形例に係る画像処理ブロックを示す図である。 図１５は、画素データ毎に点像復元処理の有無を判定する例を説明するための画像例（原画像データ）を示す図であって、カーネル（Ｋｍ、Ｋｎ）内の注目画素及びその周辺画素の画像解析データ（画像情報）に基づいて判定を行う例を示す。 図１６は、第２実施形態に係る点像復元処理フローの一例を示す図である。 図１７は、第３実施形態に係る画像処理ブロックの一例を示す図である。 図１８Ａは、復元フィルタの「空間周波数−振幅」の関係を例示するグラフであり、通常の点像復元処理で用いられるフィルタ（フィルタＡ）の特性の一例を示す。 図１８Ｂは、復元フィルタの「空間周波数−振幅」の関係を例示するグラフであり、リンギング対策復元フィルタ（フィルタＢ）の特性の一例を示す。 図１９は、図１７に示す画像処理ブロックによる点像復元処理フローを示す図である。 図２０は、第４実施形態に係る画像処理ブロックの一例を示す図である。 図２１は、図２０に示す画像処理ブロックによる点像復元処理フローを示す図である。 図２２は、第４実施形態に係る画像処理ブロックの一変形例を示す図である。 図２３は、第５実施形態に係る画像処理ブロックの一例を示す図である。 図２４は、図２３に示す画像処理ブロックによる点像復元処理フローを示す図である。 図２５は、ＥＤｏＦ光学系を備える撮像モジュールの一形態を示すブロック図である。 図２６は、ＥＤｏＦ光学系の一例を示す図である。 図２７は、図２５に示す復元処理ブロックによる復元処理フローの一例を示す図である。 図２８は、ＥＤｏＦ光学系を介して取得された画像の復元例を示す図であり、（ａ）は復元処理前のぼけた画像を示し、（ｂ）は復元処理後のぼけが解消された画像（点像）を示す。 図２９は、スマートフォンの外観図である。 図３０は、図２９に示すスマートフォンの構成を示すブロック図である。

添付図面を参照して本発明の実施形態について説明する。以下の説明では、一例として、コンピュータ（ＰＣ：パーソナルコンピュータ）に接続可能なデジタルカメラ（撮像装置）に本発明を適用する例について説明する。

図１は、コンピュータに接続されるデジタルカメラの概略を示すブロック図である。

デジタルカメラ１０は、交換可能なレンズユニット１２と、撮像素子２６を具備するカメラ本体１４とを備え、レンズユニット１２のレンズユニット入出力部２２とカメラ本体１４のカメラ本体入出力部３０とを介して、レンズユニット１２とカメラ本体１４とは電気的に接続される。

レンズユニット１２は、レンズ１６や絞り１７等の光学系と、この光学系を制御する光学系操作部１８とを具備し、光学系操作部１８は、レンズユニット入出力部２２に接続されるレンズユニットコントローラ２０と、光学系を操作するアクチュエータ（図示省略）とを含む。レンズユニットコントローラ２０は、レンズユニット入出力部２２を介してカメラ本体１４から送られてくる制御信号に基づき、アクチュエータを介して光学系を制御し、例えば、レンズ移動によるフォーカス制御やズーム制御、絞り１７の絞り量制御、等を行う。

カメラ本体１４の撮像素子２６は、集光用マイクロレンズ、ＲＧＢ等のカラーフィルタ、及びイメージセンサ（フォトダイオード；ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等）を有し、レンズユニット１２の光学系（レンズ１６、絞り１７等）を介して照射される被写体像の光を電気信号に変換し、画像信号（原画像データ）をカメラ本体コントローラ２８に送る。

このように、本例の撮像素子２６は、光学系を用いた被写体像の撮影により原画像データを出力し、この原画像データはカメラ本体コントローラ２８の画像処理装置に送信される。

カメラ本体コントローラ２８は、カメラ本体１４を統括的に制御し、図２に示すようにデバイス制御部３４と画像処理部（画像処理装置）３５とを有する。デバイス制御部３４は、例えば、撮像素子２６からの画像信号（画像データ）の出力を制御したり、レンズユニット１２を制御するための制御信号を生成してカメラ本体入出力部３０を介してレンズユニット１２（レンズユニットコントローラ２０）に送信したり、入出力インターフェース３２を介して接続される外部機器類（コンピュータ６０等）に画像処理前後の画像データ（ＲＡＷデータ、ＪＰＥＧデータ等）を送信したりする。また、デバイス制御部３４は、図示しない表示部（ＥＶＦ：Ｅｌｅｃｔｒｏｎｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ、背面液晶表示部）等、デジタルカメラ１０が具備する各種デバイス類を適宜制御する。

一方、画像処理部３５は、撮像素子２６からの画像信号に対し、必要に応じた任意の画像処理を行うことができる。例えば、センサ補正処理、デモザイク（同時化）処理、画素補間処理、色補正処理（オフセット補正処理、ホワイトバランス処理、カラーマトリック処理、ガンマ変換処理、等）、ＲＧＢ画像処理（シャープネス処理、トーン補正処理、露出補正処理、輪郭補正処理、等）、ＲＧＢ／ＹＣｒＣｂ変換処理及び画像圧縮処理、等の各種の画像処理が、画像処理部３５において適宜行われる。加えて、本例の画像処理部３５は、いわゆる点像復元処理を画像信号（原画像データ）に対して施す点像復元処理部３６を含む。点像復元処理の詳細については後述する。

図１に示すように、カメラ本体コントローラ２８において画像処理された画像データは、入出力インターフェース３２に接続されるコンピュータ６０等に送られる。デジタルカメラ１０（カメラ本体コントローラ２８）からコンピュータ６０等に送られる画像データのフォーマットは特に限定されず、ＲＡＷ、ＪＰＥＧ、ＴＩＦＦ等の任意のフォーマットとしうる。したがってカメラ本体コントローラ２８は、いわゆるＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）のように、ヘッダ情報（撮影情報（撮影日時、機種、画素数、絞り値等）等）、主画像データ及びサムネイル画像データ等の複数の関連データを相互に対応づけて１つの画像ファイルとして構成し、この画像ファイルをコンピュータ６０に送信してもよい。

コンピュータ６０は、カメラ本体１４の入出力インターフェース３２及びコンピュータ入出力部６２を介してデジタルカメラ１０に接続され、カメラ本体１４から送られてくる画像データ等のデータ類を受信する。コンピュータコントローラ６４は、コンピュータ６０を統括的に制御し、デジタルカメラ１０からの画像データを画像処理したり、インターネット７０等のネットワーク回線を介してコンピュータ入出力部６２に接続されるサーバ８０等との通信制御をしたりする。コンピュータ６０はディスプレイ６６を有し、コンピュータコントローラ６４における処理内容等がディスプレイ６６に必要に応じて表示される。ユーザは、ディスプレイ６６の表示を確認しながらキーボード等の入力手段（図示省略）を操作することで、コンピュータコントローラ６４に対してデータやコマンドを入力し、コンピュータ６０を制御したり、コンピュータ６０に接続される機器類（デジタルカメラ１０、サーバ８０）を制御したりすることができる。

サーバ８０は、サーバ入出力部８２及びサーバコントローラ８４を有する。サーバ入出力部８２は、コンピュータ６０等の外部機器類との送受信接続部を構成し、インターネット７０等のネットワーク回線を介してコンピュータ６０のコンピュータ入出力部６２に接続される。サーバコントローラ８４は、コンピュータ６０からの制御指示信号に応じ、コンピュータコントローラ６４と協働し、コンピュータコントローラ６４との間で必要に応じてデータ類の送受信を行い、データ類をコンピュータ６０にダウンロードしたり、演算処理を行ってその演算結果をコンピュータ６０に送信したりする。

なお、各コントローラ（レンズユニットコントローラ２０、カメラ本体コントローラ２８、コンピュータコントローラ６４、サーバコントローラ８４）は、制御処理に必要な回路類を備え、例えば演算処理回路（ＣＰＵ等）やメモリ等を具備する。また、デジタルカメラ１０、コンピュータ６０及びサーバ８０間の通信は有線であってもよいし無線であってもよい。また、コンピュータ６０及びサーバ８０を一体的に構成してもよく、またコンピュータ６０及び／又はサーバ８０が省略されてもよい。また、デジタルカメラ１０にサーバ８０との通信機能を持たせ、デジタルカメラ１０とサーバ８０との間で直接的にデータ類の送受信が行われるようにしてもよい。

なお本発明の一実施形態に係るプログラムは、画像処理部３５やコンピュータ６０，あるいは後述するスマートフォン２０１の記憶部２５０に備えられた各種の光磁気記録媒体や半導体記録媒体のような非一時的記録媒体に記録して用いることができる。

次に、撮像素子２６を介して得られる被写体像の撮像データ（画像データ）の点像復元処理について説明する。

本例では、カメラ本体１４（カメラ本体コントローラ２８）において点像復元処理が実施される例について説明するが、点像復元処理の全部又は一部を他のコントローラ（レンズユニットコントローラ２０、コンピュータコントローラ６４、サーバコントローラ８４等）において実施することも可能である。

点像復元処理は、光学系（レンズ１６、絞り１７等）を用いた撮影により撮像素子２６から取得される原画像データに対し、光学系の点拡がり関数に基づく復元フィルタを用いた復元処理を行って回復画像データを取得する処理である。

図３は、画像撮影から点像復元処理までの概略を示す図である。点像を被写体として撮影を行う場合、被写体像は光学系（レンズ１６、絞り１７等）を介して撮像素子２６（イメージセンサ）により受光され、撮像素子２６から原画像データＤｏが出力される。この原画像データＤｏは、光学系の特性に由来する点拡がり現象によって、本来の被写体像がぼけた状態の画像データとなる。

このぼけ画像の原画像データＤｏから本来の被写体像（点像）を復元するため、原画像データＤｏに対して復元フィルタＦを用いた点像復元処理Ｐ１０を行うことで、本来の被写体像（点像）により近い像（回復画像）を表す回復画像データＤｒが得られる。

点像復元処理Ｐ１０で用いられる復元フィルタＦは、原画像データＤｏ取得時の撮影条件に応じた光学系の点像情報（点拡がり関数）から、復元フィルタ算出アルゴリズムＰ２０によって得られる。光学系の点像情報（点拡がり関数）は、レンズ１６の種類だけではなく、絞り量、焦点距離、ズーム量、像高、記録画素数、画素ピッチ等の各種の撮影条件によって変動しうるため、復元フィルタＦを算出する際には、これらの撮影条件が取得される。

図４は、点像復元処理の一例の概略を示すブロック図である。

上述のように点像復元処理Ｐ１０は、復元フィルタＦを用いたフィルタリング処理によって原画像データＤｏから回復画像データＤｒを作成する処理であり、例えばＮ×Ｍ（Ｎ及びＭは２以上の整数）のタップによって構成される実空間上の復元フィルタＦが処理対象の画像データに適用される。これにより、各タップに割り当てられるフィルタ係数と対応の画素データ（原画像データＤｏの処理対象画素データ及び隣接画素データ）とを加重平均演算（デコンボリューション演算）することで、点像復元処理後の画素データ（回復画像データＤｒ）を算出することができる。この復元フィルタＦを用いた加重平均処理を、対象画素を順番に代え、画像データを構成する全画素データに適用することで、点像復元処理を行うことができる。

なお、Ｎ×Ｍのタップによって構成される実空間上の復元フィルタは、周波数空間上の復元フィルタを逆フーリエ変換することによって導出可能である。したがって、実空間上の復元フィルタは、基礎となる周波数空間上の復元フィルタを特定し、実空間上の復元フィルタの構成タップ数を指定することによって、適宜算出可能である。

次に、点像復元処理によって生じうる画質上の弊害について説明する。

図５及び図６は、被写体像中のエッジ部分（画像境界部分）の画質変化の一例を示す図であり、図５は理想的な点像復元処理（画素値の飽和無し、クリッピング無し）が行われる場合を示し、図６は実際の点像復元処理（画素値の飽和有り、クリッピング有り）の一例を示す。

図５の（ａ）及び図６の（ａ）は、被写体像が本来有するコントラストを示し、図５の（ｂ）及び図６の（ｂ）は点像復元処理前の原画像データＤｏにおけるコントラストを示し、図５の（ｃ）及び図６の（ｃ）は点像復元処理後の回復画像データＤｒにおけるコントラストを示す。なお、図５及び図６の横方向（Ｘ方向）は被写体像中における位置（１次元位置）を示し、縦方向（Ｙ方向）はコントラストの強弱を示す。

被写体像中における「コントラストの段差を持つエッジ部分」（図５の（ａ）、図６の（ａ）参照）は、上述したように、撮影時の光学系の点拡がり現象によって撮影画像（原画像データＤｏ）では画像ぼけが生じ（図５の（ｂ）、図６の（ｂ）参照）、点像復元処理によって回復画像データＤｒが得られる（図５の（ｃ）、図６の（ｃ）参照）。

この点像復元処理において、「実際の画像劣化特性（画像ぼけ特性）」と「使用する復元フィルタの基礎となる点拡がり関数（ＰＳＦ等）」とがマッチングしている場合、画像が適切に復元され、エッジ部分等が適切に復元された回復画像データＤｒを得ることができる（図５参照）。

しかしながら、画素値が飽和した画素（飽和画素）を含む原画像データでは、飽和画素部分でクリップされたような状態となる（図６参照）。とりわけ飽和画素を含むエッジ部分の原画像データは、ステップ信号に近い波形を有するため（図６の（ｂ）参照）、コントラスト変化が比較的はっきりしており、結果的には劣化（画像ぼけ）が比較的小さいデータとなる。このように、飽和画素を含む原画像データでは、画素データのクリッピングにより、本来の画像データ（被写体像）からのズレが生じてしまう。このようなデータズレが生じている原画像データに対して、通常の復元フィルタを用いた復元処理を行うと、リンギングが生じやすく、発生するリンギングも複雑化しやすい（図６の（ｃ）参照）。また、高周波成分が増え、折り返しノイズが強調されやすい。

そこで、「画像情報が、復元処理により回復画像データにリンギングが生じる条件に該当するか否か」によって、画像処理・復元処理をコントロールすることで、回復画像データにおけるリンギングを効果的に抑えることが可能である。

なお、点像復元処理を画像処理フローの一部として実際に設計する場合、様々なバリエーションの画像処理フローが想定しうる。

図７Ａ〜７Ｄは、画像処理部３５（カメラ本体コントローラ２８）における各種の画像処理フローを例示するブロック図である。図７Ａは、ガンマ補正処理（階調補正処理）後に輝度データ（Ｙ）に対して点像復元処理を行う例を示し、図７Ｂは、ガンマ補正処理後にＲＧＢの色データに対して点像復元処理を行う例を示す。また図７Ｃは、ガンマ補正処理前にＲＧＢ色データに対して点像復元処理を行う例を示し、図７Ｄは、ガンマ補正処理前に輝度データ（Ｙ）に対して点像復元処理を行う例を示す。

図７Ａの例において、画像処理部３５は、モザイクデータ（ＲＡＷ画像データ；原画像データ）が入力されると、「画像の明るさを調整するオフセット補正処理４１」、「画像のホワイトバランス（ＷＢ）を調整するＷＢ補正処理４２」、「画素補間処理によって全画素に関してＲＧＢ各色の色データを取得するデモザイク処理４３」、「対数化処理による階調補正を行って画素データの階調を調整するガンマ補正処理（階調補正ステップ；階調補正部）４４」、「ＲＧＢ色データから輝度データ（Ｙ）及び色差データ（Ｃｂ／Ｃｒ）を算出する輝度・色差変換処理４５」及び「画像データ（輝度データ）に対し、撮影に用いられた光学系の点拡がり関数に基づく復元フィルタを用いた点像復元処理を行う点像復元処理（復元処理ステップ）４６」を順次行う。なお、色データは、モザイクデータ（原画像データ）を撮影取得した撮像素子２６が有するカラーフィルタの色種類に対応し、輝度データ及び色差データは、公知の算出式によって色データから算出可能である。

一方、図７Ｂの例では、図７Ａの画像処理例における輝度・色差変換処理４５と点像復元処理４６との処理順序が入れ替わっている。したがって、図７Ａの例ではガンマ補正処理（階調補正）４４後の原画像データの輝度データに対して点像復元処理４６が行われるが、図７Ｂの例では、ガンマ補正処理（階調補正）４４された原画像データのＲＧＢ色データに対する点像復元処理４６が点像復元処理部３６で行われ、その後に輝度データ及び色差データが算出される。

また、図７Ｃの例では、図７Ｂの画像処理例におけるガンマ補正処理４４と点像復元処理４６との処理順序が入れ替わっている。したがって、図７Ｂに示す例ではガンマ補正処理４４後に点像復元処理４６が行われるが、図７Ｃに示す例ではガンマ補正処理４４前に点像復元処理４６が行われる。

また図７Ｄの例では、オフセット補正処理４１、ＷＢ補正処理４２及びデモザイク処理４３は図７Ａ〜７Ｄの例と同じあるが、デモザイク処理４３後に輝度・色差変換処理４５ａが行われ、輝度データに対して点像復元処理４６が行われた後に輝度データ及び色差データからＲＧＢ色データを算出する色信号変換処理４７が行われる。そして、このＲＧＢ色データに対してガンマ補正処理４４及び輝度・色差変換処理４５ｂが順次行われることで、輝度データ及び色差データが取得される。

なお、図７Ａ〜７Ｄの各々は処理フローの一例を示すものに過ぎず、他の処理が必要に応じて任意の段階で行われてもよいし、図７Ａ〜７Ｄに示す処理の一部が省略されてもよい。

このように一連の画像処理フローには様々なバリエーションがあり、例えば「点像復元処理の順番として階調補正（ガンマ補正処理）の前後のうちどちらが好ましいか」、「ＲＧＢ等の色データに対する点像復元処理とした方が好ましいか、輝度データ（Ｙ）に対する点像復元処理とした方が好ましいか」等の観点で、各種の画像処理フロー間で点像復元処理の効果にどのような違いが見られるかについての考察は、従来なされていなかった。

本件発明者は、各種の画像処理フロー間における点像復元処理効果の相違に着目して鋭意研究を重ねた結果、「階調補正処理（ガンマ補正処理）、リンギング現象、点像復元処理、等」の相関について新たな知見を得た。

図８は、点像復元処理に対する「階調補正処理（ガンマ補正処理）」及び「色データ／輝度データ」の相関を示す図である。

図８の「真数（階調補正前）」が示す欄は、階調補正処理（ガンマ補正処理）前の画像データ（真数画像データ）に対して点像復元処理を行った場合の画像特性を示し（図７Ｃ及び７Ｄ参照）、「対数（階調補正後）」が示す欄は、階調補正処理（ガンマ補正処理）後の画像データ（対数画像データ）に対して点像復元処理を行った場合の画像特性を示す（図７Ａ及び７Ｂ参照）。また、図８の「色データ（ＲＧＢ）」が示す欄は、色データ（ＲＧＢデータ）に対して点像復元処理を行った場合の画像特性を示し（図７Ｂ及び７Ｃ参照）、「輝度データ（Ｙ）」が示す欄は、輝度データに対して点像復元処理を行った場合の画像特性を示す（図７Ａ及び７Ｄ参照）。

真数の画像データと対数の画像データとを比較すると、理想系においては、真数画像データ（階調補正前画像データ）の点像復元の方が、対数画像データ（階調補正後画像データ）の点像復元よりも、画像復元性に優れている（図８の「理想系における復元性」参照）。

ここで言う理想系とは、「点像復元処理で使用する復元フィルタのフィルタタップ数が十分に大きく」、「計算ビット数が十分に大きく」、「光学系の実際のぼけ特性と、画像処理部３５が保持する光学系ぼけ特性データとが一致している」、「画素値が飽和した飽和画素データを入力画像データ（原画像データ）が含まない」など、適切な点像復元処理を行うための条件が十分に満たされている理想的な系を指す。

一方、理想系からずれた実際の処理系では、対数画像データ（階調補正後画像データ）の点像復元の方が、真数画像データ（階調補正前画像データ）の点像復元よりも、点像復元画像（回復画像）におけるリンギングなどの副作用の出現程度が小さいことを、本件発明者は複数回の実験により確認した（図８の「理想系からずれた系における輝度系タフネス性（リンギング程度、等）」参照）。

理想系とは異なる現実の処理系において「真数画像データ（真数空間上の画像データ）に対する点像復元処理」よりも「対数画像データ（対数空間上の画像データ）に対する点像復元処理」の方がリンギングなどの副作用の出方が小さいのは、ガンマ補正処理（対数化処理）後の画素データ（画像データ）では、低輝度部の階調が強調され（エンハンスされ）、高輝度部の階調が非強調とされることが一因である。また、点像復元処理によって画像のエッジ（境界部）にオーバーシュート（アンダーシュート）が発生し、そのようなオーバーシュート（アンダーシュート）が階調補正によって強調されることもリンギングなどの画像劣化を目立たせる一因である。

図９は、点像復元処理によるオーバーシュートの発生メカニズムを説明するための図である。図９において横方向（Ｘ方向）は画像中の位置（一次元位置）を示し、縦方向（Ｙ方向）は画素値を示す。

光学系の点拡がり現象によって画質劣化した（ぼけた）画像エッジ部（図９の（ａ）参照）は、点像復元処理によって本来の画質（コントラスト）に近づくが、いわゆるオーバーシュート（アンダーシュート）が生じることがある（図９の（ｂ）参照）。点像復元処理によって生じるオーバーシュート自体が小さい場合には視覚上特に目立つものではないが、その後に階調補正処理（ガンマ補正処理）が行われるとオーバーシュートが必要以上に強調されることがある（図９の（ｃ）の「Ｅ１」及び「Ｅ２」参照）。特にシャドウ側のオーバーシュート（アンダーシュート）部分は、その後のガンマ補正処理によって大きなゲイン（増幅率）が適用され、画像エッジ部において黒側に大きく偏った部分を構成することとなる（図９の（ｃ）の「Ｅ２」参照）。なお、この現象は、点像復元処理に限ったものではなく、真数空間の画像データに対する輪郭補正処理を行った結果、エッジ部分にオーバーシュートが発生した場合にも共通する。

また、「色データ（ＲＧＢデータ）に対する点像復元処理」は、想定通り（保持している劣化情報（光学系の点拡がり関数情報）通り）にＲＧＢ各色の色データ（色信号）が点像復元処理部３６に入力されれば、効果的な色データ補正が可能であり、「輝度データ（Ｙデータ）に対する点像復元処理」と比較して、色収差などを効果的に軽減することができる（図８の「理想系における復元性」、「色系補正能力」参照）。しかしながら、実際の入力信号の挙動が想定通りではない場合、色データ（ＲＧＢデータ）に対する点像復元処理では、不要な色付きを生じる箇所が増えて不自然な色合いが目立つなどの副作用が起きることがある（図８の「理想系からずれた系における色系タフネス性（色付き程度、滲み程度、等）」参照）。

また、処理規模（処理系をハード化する場合は処理回路の規模）についても図８に示すような違いがある。すなわち、真数画像データ（真数空間上の画像データ）よりも対数画像データ（対数空間上の画像データ）の点像復元処理の方が、演算処理が簡単であるため、処理規模が小さくなり、有利である。また、色データ（ＲＧＢデータ）に対する点像復元処理では３チャンネル（３ｃｈ）分の処理系が必要とされるが、輝度データ（Ｙデータ）に対する点像復元処理では１チャンネル（１ｃｈ）分の処理系で済むため、輝度データに対する点像復元処理の方が、演算処理が簡単になり処理規模をコンパクト化することが可能である。

したがって、実際の画像処理系では、図８に示す上述の各種特性を踏まえ、ユーザのニーズに応じた適切な系が構築されることが好ましい。例えば、「入力される画像信号（画像データ）として様々なタイプのものが入力される」、「処理系をハード化する際にできるだけ小規模にする」、「実際の画像劣化情報と処理系で保持する画像劣化情報とが完全一致している保証がない」など、理想処理系から処理条件が外れる場合、対数の画像データに対する点像復元処理の方が、真数の画像データに対する点像復元処理よりも、画像タフネス性（画像非破綻性）に優れる。したがって、実際の画像処理系では、画像タフネス性を向上させる観点からは、点像復元処理を階調補正処理（ガンマ補正処理）の後段で実施することが好ましい。また、画像処理による副作用の抑制や処理系の小規模化を重視するのであれば、色データよりも輝度データに対して点像復元処理を施す画像処理系の方が好ましいが、色再現性を重視するのであれば、輝度データよりも色データに対して点像復元処理を施す画像処理系の方が好ましい。

また、対数化処理（ガンマ補正処理）による階調補正を行う場合、復元フィルタ自体は、対数化処理前の画像データに対応したフィルタ係数から成っていてもよいし、対数化処理後の画像データに対応したフィルタ係数から成っていてもよい。

「階調補正後（対数化処理後）の画像データの画素値（対数の画素データ）」に対し、敢えて、「階調補正前（対数化処理前）の画素値（真数の画素データ）に対応したフィルタ係数から成る復元フィルタ」を適用して回復処理（点像復元処理）を行う場合、回復画像（復元画像）で生じた画質劣化（リンギング等）に対するタフネス性が向上し、回復画像上でリンギングを目立たせないようにできる。これは、対数化処理後の画素データ（画像データ）では、低輝度部の階調が強調され（エンハンスされ）、高輝度部の階調が非強調とされるからである。

図１０は、ガンマ処理（対数化処理）による処理前データと処理後データとの間の関係の一例を示す図（グラフ）である。図１０の横軸は処理前データ（ガンマ処理入力データ「ＩＮ」）を示し、縦軸は処理後データ（ガンマ処理出力データ「ＯＵＴ」）を示し、グラフ中の実線がガンマ処理階調カーブを示す。

一般的な画像データに対する点像復元処理において、点像復元処理による効果が視覚的に認識され易いのは、コントラストの低い領域であり、ガンマ処理階調カーブにおいて直線で近似できる「画素値のレベル差の比較的小さい領域」である（図１０の「Ａ」参照）。一方、コントラストの高い領域、つまりガンマ処理階調カーブにおいて曲線部を構成する「画素値のレベル差が比較的大きい領域」では、元々のコントラストが高くぼけも認識されにくい（図１０の「Ｂ」参照）。

さらに、コントラストの高い領域のうち飽和画素を含む領域で、画素値が真数である画素データ（階調補正前の画素データ）に対して点像復元処理を行い、その後に階調補正（ガンマ補正処理、対数化処理）を行うと、アンダーシュート／オーバーシュート（リンギング）が目立ちやすい。これに対し、対数化処理後の画素データに対して点像復元処理を行う場合、対数化処理により高いコントラストが圧縮され、点像復元処理によるリンギングの強度が低減される。

つまり、対数化処理後の画素データに対し、画素値が真数の画素データに対応したフィルタ係数から成る復元フィルタを使って回復処理（点像復元処理）を行うことで、一般的に視認されやすい低コントラスト領域に対しては遜色なく点像復元処理を施すことができる一方で、点像復元処理によってリンギングが生じ易い高コントラスト領域ではリンギングの強調度合いを低減することが可能である。

特に、画像処理装置（撮像装置等）が複数種類の階調補正（ガンマ補正処理）を実行可能であり複数種類のガンマ処理階調カーブのデータを保持する場合、従来技術（特許文献３参照）では複数種類の階調補正毎に画素信号値の変化量の制限値を算出する必要がある。しかしながら、本方式によれば、階調補正後の画素データに点像復元処理をかけるため、階調補正の種類に応じた処理の切り替えも不要になる。

また、一般的にＰＳＦ（点拡がり関数）は入力が線形であることが前提とされており、この前提に基づく復元フィルタは、「線形の係数」つまり「真数の画素データに対応したフィルタ係数」から成る方が生成も容易である。

このように、本方式は実用上非常に有益且つ効果的である。

一方、階調補正後（対数化処理後）の画素値（対数の画素データ）に対し、対数化処理後の画素値（対数の画素データ）に対応したフィルタ係数から成る復元フィルタを使って回復処理（点像復元処理）を行うことで、点像復元処理で発生するリンギングによる画質劣化に対してタフネス性を向上でき、発生するリンギングを画像上で目立たせないようにできる。

すなわち、画素データが階調補正（対数化処理）後の画素値（対数の画素データ）である場合、対数化処理後の画素値（対数の画素データ）に対応したフィルタ係数から成る復元フィルタを使って点像復元処理を行うことで、点像復元処理自体を正確に行うことが可能である。この場合、点像復元処理の対象画像データを「階調補正後の原画像データ」とすることで、階調補正（対数化処理）により高いコントラストが圧縮され、点像復元処理により発生するリンギングの強度を低減することができる。

なお、点像復元処理で使用する復元フィルタは、予め生成されていてもよいし、点像復元処理の実行に合わせて逐次算出生成されてもよい。点像復元処理時の演算量を低減化する観点からは、復元フィルタを予め生成しておくことが好ましい。また、適応性に優れた復元フィルタを使用する観点からは、点像復元処理の実行時に復元フィルタを逐次算出することが好ましい。

復元フィルタを予め生成しておく場合、入力画素値（入力画像データ）に対する対数化処理（ガンマ補正処理）によって求められる画素値に基づいて演算を行うことで、復元フィルタのフィルタ係数を求めるようにするとよい。復元フィルタの生成に用いられる画素値は、輝度値であってもよいし、ＲＧＢ色データのうちの代表的に選択された１つのチャネルに関する画素値（例えばＧの画素値）でもよい。また、復元フィルタの生成に用いられる画素値は、主要被写体の画素値であってもよいし、画面全体の平均値から求められる画素値であってもよい。

なお、点像復元処理は、原画像データの振幅成分のみを復元して回復画像データを得る処理であってもよいし、原画像データの振幅成分及び位相成分を復元して回復画像データを得る処理であってもよい。すなわち、光学系のＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）／ＰＴＦ（Ｐｈａｓｅ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）のうち少なくともいずれか一方に基づいて復元フィルタを算出することができる。なお、光学系のぼけ特性は、いわゆる光学伝達関数（ＯＴＦ：Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）によって表現可能であり、ＯＴＦを逆フーリエ変換して得られる関数は点像分布関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ：点拡がり関数）とも呼ばれる。ＭＴＦはＯＴＦの絶対値成分であり、ＰＴＦは位相のズレを空間周波数の関数として表したものである。したがって、点像復元処理に用いられる復元フィルタは、光学系のＯＴＦ（ＭＴＦ／ＰＴＦ）やＰＳＦに基づいて、適宜設計可能である。

「位相成分の復元を伴わない点像復元処理」の場合は回復画像データにおいてリンギングが発生し易いので、階調補正後の画像データ（原画像データ）に対してそのような「位相成分の復元を伴わない点像復元処理」が施されることが望ましい。また、位相成分の復元を伴わない点像復元処理を階調補正後の画像データ（原画像データ）に対して行う場合であっても、リンギングが発生する状況か否かを判断した上で、画像処理（点像復元処理等）を制御することが望ましい。

一方、「位相成分の復元を伴う点像復元処理」の場合は回復画像データにおいてリンギングを低減できるが、階調補正後の画像データ（原画像データ）に対してそのような「位相成分の復元を伴う点像復元処理」を行うことで、画像タフネス性をより向上させることができる。そして、位相成分の復元を伴う点像復元処理を階調補正後の画像データ（原画像データ）に対して行う場合であっても、リンギングが発生する状況か否かを判断した上で、画像処理（点像復元処理等）を制御することが望ましい。

なお、点像復元処理が位相成分の復元を伴うか伴わないかを加味して、点像復元処理を施す対象を「階調補正前の画像データ」及び「階調補正後の画像データ」のうちいずれにするかが決定されてもよい。

上述の新たな知見を踏まえ、以下に、本発明の好ましい実施形態を例示する。

＜第１実施形態＞
本実施形態では、「点像復元処理対象の画像（原画像データ）に関する画像情報」が「点像復元処理により回復画像データにリンギングが生じる条件」に該当するか否かによって、「画像」単位で画像処理がコントロールされ、点像復元処理の実行の有無が決められる。

図１１は、第１実施形態に係る画像処理ブロックを示す図である。

本実施形態の画像処理部３５（図２参照）は、点像復元処理部（復元処理部）３６に加え、画像解析部３７と、リンギング判定部３８と、復元処理判定部（処理制御部）３９とを有する。なお、図中の画像処理ブロックは、必ずしも別体として設けられる必要はなく、複数の画像処理ブロックを一体的に構成されるハードウェア／ソフトウェアによって実現してもよい。

画像解析部３７は、光学系を用いた撮影により撮像素子から取得される原画像データを解析して画像解析データ（画像情報）を取得する。本例では、原画像データに飽和画素が含まれるか否かが、画像解析部３７における原画像データの解析により取得される。画像解析部３７の画像解析結果は、画像解析データとしてリンギング判定部３８に送られる。

リンギング判定部３８は、画像解析部３７から送られてくる画像解析データが、「点像復元処理により回復画像データにリンギングが生じる条件（リンギング発生条件）」に該当するか否かを判定する。具体的には、原画像データが飽和画素を含むことを画像解析データが示す場合、「リンギング発生条件に画像解析データが該当する」とリンギング判定部３８は判定する。一方、原画像データが飽和画素を含まないことを画像解析データが示す場合、「リンギング発生条件に画像解析データが該当しない」とリンギング判定部３８は判定する。このように、リンギング判定部３８では回復画像データにおけるリンギングの発生可能性が判定されており、「リンギング発生条件に画像解析データが該当する」場合は「回復画像データにおけるリンギングの発生可能性が高い」場合であり、「リンギング発生条件に画像解析データが該当しない」場合は「回復画像データにおけるリンギングの発生可能性が高くない（低い）」場合である。ここでいうリンギングの発生可能性は、「リンギングの有無」だけではなく、「視認によって目立つリンギングが生じるか否か」を示すようにしてもよい。したがって、例えば、リンギングが全く発生しない場合や視認によって目立つリンギングが生じない場合を「リンギングの発生可能性が高くない（低い）」とし、リンギングが発生する場合や視認によって目立つリンギングが生じる場合を「リンギングの発生可能性が高い」としてもよい。このリンギング判定部３８における判定結果は、リンギング判定データとして復元処理判定部３９に送られる。

復元処理判定部３９は、リンギング判定部３８の判定結果に基づいて、画像処理をコントロールし、点像復元処理部３６における点像復元処理の実行の有無を決定する。

具体的には、リンギング判定データから「回復画像データにおいてリンギングが発生する可能性が高くない（低い）（すなわち、「リンギング発生条件に画像解析データが該当しない」、「原画像データが飽和画素を含まない」）」と判定される場合、復元処理判定部３９は原画像データを点像復元処理部３６に送る。一方、リンギング判定データから「回復画像データにおいてリンギングが発生する可能性が高い（すなわち、「リンギング発生条件に画像解析データが該当する」、「原画像データが飽和画素を含む」）」と判定される場合、復元処理判定部３９は点像復元処理部３６をスキップして後段の処理部に原画像データを送る。このように、本例の復元処理判定部３９は、原画像データ毎に、点像復元処理（画像処理）をコントロールする。

点像復元処理部３６は、原画像データに対し、光学系の点拡がり関数に基づく復元フィルタを用いた復元処理を行って回復画像データを得る。

なお、復元処理判定部３９及び点像復元処理部３６は、ガンマ補正処理部（図７Ａ〜７Ｄのガンマ補正処理４４参照）の後段に設けられ、点像復元処理部３６における点像復元処理は、ガンマ補正処理後（階調補正後）の原画像データに対して行われる（図７Ａ及び７Ｂ参照）。

一方、画像解析部３７には、ガンマ補正処理前の原画像データが入力されてもよいし、ガンマ補正処理後の原画像データが入力されてもよく、ガンマ補正処理前後いずれの原画像データから画像解析データが生成されてもよい。

図１２は、図１１に示す画像処理ブロックによる点像復元処理フローを示す図である。

まず、画像解析部３７において原画像データが解析され、原画像データが飽和画素を含むか否かが調べられる（図１２のＳ１；画像情報取得ステップ）。

原画像データが飽和画素を含まない場合、回復画像データにおいてリンギングが発生する可能性が高くない（低い）とリンギング判定部３８において判定される（Ｓ２のＮ；リンギング判定ステップ）。この場合、原画像データが復元処理判定部３９から点像復元処理部３６に送られ、点像復元処理部３６で点像復元処理が行われて回復画像データが取得され（Ｓ３）、この回復画像データが後段の処理部に送られる。

一方、原画像データが飽和画素を含む場合、回復画像データにおいてリンギングが発生する可能性が高いとリンギング判定部３８において判定され（Ｓ２のＹ）、復元処理判定部３９によって点像復元処理（点像復元処理部３６）がスキップされ（Ｓ４）、後段の処理部に原画像データが送られる。

このように、画像（原画像データ）内における飽和画素の有無をチェックして、飽和画素が存在する場合、その画像に対しては点像復元処理を行わないようにする。これにより、画像データにおけるリンギングの発生及び強調を防ぎ、後段に送られる画像データ（画像）においてリンギング等による画像劣化が目立たないようにすることができる。

なお、上述の例では原画像データに飽和画素が含まれているか否かによって点像復元処理の実行が決められるが、これに限定されるものではない。例えば、閾値（例えば飽和画素値（撮像素子２６の構成画素が許容可能な最大の画素値）の９０％）よりも大きな画素値を有する画素データが原画像データに含まれるか否かを示す画像解析データが、画像解析部３７において作られるようにしてもよい。このケースでは、原画像データが「閾値よりも大きな画素値を持つ画素データ」を含む場合、リンギングの可能性が高いとリンギング判定部３８で判定され、復元処理判定部３９は点像復元処理（点像復元処理部３６）をスキップして後段の処理部に原画像データを送る。一方、原画像データが「閾値よりも大きな画素値を持つ画素データ」を含まない場合、リンギングの可能性が高くない（低い）とリンギング判定部３８で判定され、復元処理判定部３９は点像復元処理部３６に原画像データを送り、点像復元処理部３６において原画像データの点像復元処理が行われる。

また、画素値が飽和した画素データ又は閾値よりも大きな画素値を有する画素データが、所定画素数以上、原画像データに含まれるか否かに基づいて、リンギングの発生可能性がリンギング判定部３８で判定されてもよい。

なお、上述の図１１に示す例では「原画像データを解析して取得される画像解析データ」をリンギング判定の基礎となる画像情報として使用しているが、「原画像データの取得条件を示す画像取得条件データ」をこの画像情報として使用することも可能である。

図１３は、第１実施形態の一変形例に係る画像処理ブロックを示す図である。本変形例の画像処理部３５（図２参照）は、図１１の画像解析部３７に代え、画像取得条件取得部４０を有する。

画像取得条件取得部４０は、原画像データの取得条件を取得し、この原画像データ取得条件を示す画像取得条件データをリンギング判定部３８に送る。リンギング判定部３８は、この画像取得条件データが、復元処理により回復画像データにリンギング発生条件に該当するか否かを判定する。

なお、リンギング判定部３８における判定結果に基づいて点像復元処理の実行の有無を決定する点（復元処理判定部３９、点像復元処理部３６）は、図１１に示す例と同様である。

本変形例の画像取得条件取得部４０が取得する「原画像データの取得条件（画像取得条件データ）」は、原画像データを取得する撮影に用いられた光学系の情報を含み、点像復元処理の復元精度や復元処理の副作用（リンギング等）に影響を及ぼしうる各種要素が「原画像データの取得条件（画像取得条件データ）」に含まれうる。例えば、ここでいう光学系の情報は、原画像データを取得する撮影に用いられた光学系のレンズ種類、絞り値、ズーム値のうち少なくともいずれか１つを含む。

本変形例では、「回復画像データでリンギングが発生する可能性が高い条件」の下で原画像データが取得された場合（条件該当の場合）には、点像復元処理をスキップするようにすることで、リンギングが発生／目立つ画像データ（回復画像データ）が後段に送られることを防ぐことが可能である。

なお、「画像解析部３７における画像取得条件データの取得手法」や「リンギング判定部３８におけるリンギングの判定手法」は、特に限定されない。

例えば、「回復画像データにおいてリンギングの発生可能性が高い条件」を予め定めてリンギング判定部３８が保持しておき、画像取得条件データがその保持された条件に該当するか否かによって、リンギングの発生の可能性が判定されてもよい。また、実際に使用される光学系（レンズ等）によってリンギングの発生可能性は変動しうるため、光学系の種類（レンズ型番等）毎に「リンギングの発生可能性の高い条件」が定められてもよい。また、画像取得条件データが原画像データに付加されている場合（例えばＥｘｉｆ等）、画像取得条件取得部４０は、原画像データとともに画像取得条件データを取得するようにしてもよい。また、処理対象の原画像データの画像取得条件データがメモリ等に記憶されている場合、画像取得条件取得部４０は、そのメモリにアクセスして画像取得条件データを取得するようにしてもよい。

図１４は、第１実施形態の他の変形例に係る画像処理ブロックを示す図である。本変形例の画像処理部３５（図２参照）は、図１１の画像解析部３７及び図１３の画像取得条件取得部４０を含む画像情報取得部４８を有する。

画像解析部３７及び画像取得条件取得部４０を含む画像情報取得部４８は、上述の画像解析データ及び画像取得条件データのうち少なくともいずれか一方を含む画像情報を取得する。この画像情報は、画像情報取得部４８からリンギング判定部３８に画像情報データとして送られる。リンギング判定部３８は、この画像情報データに基づいて、画像情報が、復元処理により回復画像データにリンギング発生条件に該当するか否かを判定する。なお、本変形例の復元処理判定部３９及び点像復元処理部３６は、上述の実施形態（図１１及び図１２参照）及び変形例（図１３参照）と同様である。

本変形例では、画像解析データ及び画像取得条件データに基づく総合的な判定により、リンギングの発生可能性を精度良く推測することが可能である。また、画像情報取得部４８が画像解析データ及び画像取得条件データのうちいずれか一方を取得することができない場合であっても、取得可能なデータに基づいて、リンギングの発生可能性を推測することも可能である。

以上説明したように、上述の実施形態及び変形例によれば、点像復元が必要な画像のみに対して点像復元処理を行うことができる。すなわち、点像復元処理を適用することで画質向上を期待することができる画像（画像データ）に対しては、点像復元処理が行われる。一方、点像復元処理によってリンギングなどの画質劣化が目立つ蓋然性が高いと予測される画像に対しては、点像復元処理が行われない。このように、被写体像の特性（特徴）に応じた点像復元処理を行うことで、リンギング等の含む画像データが後段に送られることを回避し、画質劣化した撮影画像（画像データ）がユーザに提供されることを防ぐことができる。

＜第２実施形態＞
本実施形態において、上述の第１実施形態と同様の構成及び作用については、説明を省略する。

本実施形態では、「点像復元処理対象の画像（原画像データ）に関する画像情報」が「点像復元処理により回復画像データにリンギング発生条件」に該当するか否かによって「画素」単位で画像処理がコントロールされる。

すなわち、第１実施形態では「画像」単位で原画像データ毎に点像復元処理がコントロールされる例が示されているが、本実施形態では「画素」単位で画素データ毎に点像復元処理がコントロールされる。

図１５は、画素データ毎に点像復元処理の有無を判定する例を説明するための画像例（原画像データ）を示す図であって、カーネル（Ｋｍ、Ｋｎ）内の注目画素及びその周辺画素の画像解析データ（画像情報）に基づいて判定を行う例を示す。

本例の画像処理部３５（図２参照）は、図１１に示す画像処理ブロックと同様の画像処理ブロックを有し、画像解析部３７は、原画像データを解析し、飽和画素データ又は閾値よりも大きな画素値を有する画素データが原画像データに含まれるか否かを示す画像解析データ（画像情報）を取得する。

リンギング判定部３８は、画像解析部３７から送られてくる画像解析データに基づいてリンギングの発生可能性を判定するが、原画像データの画素データ毎に判定を行う。リンギング判定部３８は、原画像データのうちの注目画素及びこの注目画素の周辺画素に関する画像解析データ（画像情報）に基づいて、原画像データを構成する画素データ毎に、注目画素に対する点像復元処理によってリンギングが発生する可能性が高いか否かを判定する。

本例では、所定サイズのカーネル（例えば９画素（Ｘ方向）×９画素（Ｙ方向）程度のカーネル（図１５の「Ｋｍ」及び「Ｋｎ」参照））内の中央に配置される注目画素及びその周辺に配置される周辺画素のうちの少なくとも一部の画素データが、画素値が飽和した画素データ（飽和画素データ）又は閾値よりも大きな画素値を有する画素データであるか否かが、リンギング判定部３８において判定される。

なお、カーネルのサイズは特に限定されるものではないが、点像復元処理に使用される復元フィルタ（実空間上の復元フィルタ）のサイズ（図４の「実空間フィルタ」の「Ｎタップ」及び「Ｍタップ」参照）に基づいて定められることが望ましく、点像復元処理に使用される実空間フィルタのサイズと一致又はそれ以下のサイズにカーネルサイズを設定することが望ましい。

カーネル内の画素データに「飽和画素データ又は閾値よりも大きな画素値を有する画素データ」が含まれると判定される場合（図１２の「Ｋｎ」参照）、リンギング判定部３８は、注目画素の点像復元処理ではリンギングの発生可能性が高いと判定する。一方、カーネル内の画素データに「飽和画素データ又は閾値よりも大きな画素値を有する画素データ」が含まれないと判定される場合（図１２の「Ｋｍ」参照）、リンギング判定部３８は、注目画素の点像復元処理ではリンギングの発生可能性が高くない（低い）と判定する。

このようにして原画像データの画素データ毎に得られる「リンギングの発生可能性の判定結果」は、リンギング判定データとして、リンギング判定部３８から復元処理判定部３９に送られる。

復元処理判定部（処理制御部）３９は、原画像データを構成する画素データ毎に、点像復元処理をコントロールする。すなわち、復元処理判定部３９は、リンギング判定データに基づいて点像復元処理部３６と協働し、注目画素を原画像データ内で変えながら、画素データ毎に点像復元処理が実行／不実行される。すなわち、「リンギングの発生可能性が高くない（低い）と判定された画素データ」に対しては点像復元処理を行う一方で、「リンギングの発生可能性が高いと判定された画素データ」に対しては点像復元処理を行わないように、復元処理判定部３９は点像復元処理部３６をコントロールする。

図１６は、第２実施形態に係る点像復元処理フローの一例を示す図である。なお、図１６では、飽和画素データの有無に基づいて点像復元処理の実行の有無（リンギングの発生可能性）が判定される例が示されている。

まず、原画像データが解析されて、飽和画素データが原画像データに含まれるか否かを示す画像解析データ（画像情報）が画像解析部３７によって取得され（図１６のＳ１１）、画像解析データがリンギング判定部３８に送られる。そして、原画像データを構成する画素データ毎に「点像復元処理によって回復画像データにリンギングが発生する可能性が高いか否か」がリンギング判定部３８において判定され、このリンギング判定データが復元処理判定部３９に送られる。

そして、復元処理判定部３９において原画像データの画素データ毎に点像復元処理の実行の有無が決められる。すなわち、まず対象画素をリセットするために「Ｉ＝０」とされ（Ｓ１２）、その後、対象画素を順次変えるために「Ｉ＝Ｉ＋１」とされる（Ｓ１３）。

そして、Ｉ番目の画素（注目画素）に対する点像復元処理によってリンギングの発生可能性が高いか否かが、リンギング判定データに基づいて復元処理判定部３９により判定される（Ｓ１４）。リンギングの発生可能性が高くない（低い）と判定される場合（Ｓ１４のＮ）、そのＩ番目の画素の点像復元処理を行うことが復元処理判定部３９において決定される（Ｓ１５）。一方、リンギングの発生可能性が高いと判定される場合（Ｓ１４のＹ）、そのＩ番目の画素の点像復元処理を行わないことが復元処理判定部３９において決定される（Ｓ１６）。

そして、注目画素（Ｉ番目の画素）は原画像データを構成する最終画素（Ｎ番目の画素）か否かが、復元処理判定部３９において判定される。すなわち、「Ｉ＜Ｎ」を満たすか否かによって、対象画素（注目画素）が原画像データの最終画素に達したか否かが判定される（Ｓ１７）。「Ｉ＜Ｎ」を満たす場合（Ｓ１７のＹ）、対象画素（注目画素）は最終画素に達していないため、上述のステップＳ１３に処理が戻され、「Ｉ＝Ｉ＋１」によって対象画素（注目画素）を次の画素に変えて、上述のステップＳ１４〜Ｓ１７が繰り返される。

一方、「Ｉ＜Ｎ」を満たさない場合（Ｓ１７のＮ）、対象画素（注目画素）は最終画素に達しており、原画像データを構成する全ての画素に対して点像復元処理の実行の有無が決定された状態にある。したがって、この決定結果に基づいて、原画像データの画素データ毎に、点像復元処理部３６による点像復元処理が実行／不実行される。

以上説明したように、本実施形態によれば、点像復元処理を適用することで画質向上が期待できる画素（画素データ）に対しては点像復元処理が施され、リンギングなどの副作用が目立ちそうな画素（画素データ）に対しては点像復元処理が施されない。このように、画素単位で点像復元処理の実行の有無が切り替えられ、点像復元処理によって画質向上が期待できる画素（画素データ）のみに点像復元処理を施すことができ、画素単位での画質向上が可能である。

なお、本実施形態によれば、一つの回復画像（回復画像データ）内において、「点像復元処理が施される画素」と「点像復元処理が施されない画素」とが混在する。回復画像において「点像復元された画素」及び「点像復元されない画素」が混在する場合であっても、ユーザの視覚上において、両画素間の復元再現性において十分にバランスがとられ、画像全体としても良好な画質を有することは、本件発明者によって実験により確認されている。

上述では「画像解析データ」に基づいて点像復元処理の実行の有無が判定される例について説明したが、上述の第１実施形態と同様に、本実施形態においても「画像取得条件データ」に基づいて画素データ毎に点像復元処理の実行の有無が判定されてもよく（図１３）、また「画像解析データ及び画像取得条件データのうち少なくともいずれか一方を含む画像情報」に基づいて画素データ毎に点像復元処理の実行の有無が判定されてもよい（図１４）。また、上述では「画素データ」毎に点像復元処理の実行の有無が判定される例について説明したが、原画像データ（被写体像）を複数の分割領域に区分して「分割領域」毎に点像復元処理の実行の有無が判定されてもよい。

＜第３実施形態＞
本実施形態において、上述の実施形態と同様の構成及び作用については、説明を省略する。

本実施形態では、点像復元処理で使用する復元フィルタが、画像解析データ及び画像取得条件データのうち少なくともいずれか一方に基づいて切り替え／選択される。

以下では、原画像データが飽和画素を含むか否かの情報（画像解析データ）に基づいて、画像（原画像データ）単位で復元フィルタが切り替えられる例について説明する。

図１７は、第３実施形態に係る画像処理ブロックの一例を示す図である。

本実施形態の画像処理部３５（図２参照）は、画像解析部３７、リンギング判定部３８、フィルタ選択部（処理制御部）５５及び点像復元処理部３６を有する。

画像解析部３７及びリンギング判定部３８は、上述の実施形態と同様である。すなわち、画像解析部３７において原画像データが解析されて画像解析データが取得され、リンギング判定部３８においてリンギングの発生可能性が判定される。なお、本例では、原画像データに飽和画素が含まれるか否かが画像解析部３７において解析され、画像単位で原画像データ毎にリンギングの発生可能性がリンギング判定部３８において判定される。

フィルタ選択部５５は、リンギング判定部３８の判定結果（リンギング判定データ）に基づいて、点像復元処理部３６の点像復元処理で用いる復元フィルタを決定する。すなわち、リンギングの発生可能性が高くない（低い）と判定される画像（原画像データ）に対しては、通常の復元フィルタがフィルタ選択部５５によって選択される。一方、リンギングの発生可能性が高いと判定される画像（原画像データ）に対しては、通常の復元フィルタではなく、リンギングの発生を抑制する／リンギングを強調しない復元フィルタ（リンギング対策復元フィルタ）がフィルタ選択部５５によって選択される。

図１８Ａ，１８Ｂは、復元フィルタの「空間周波数−振幅」の関係を例示するグラフである。図１８Ａは通常の点像復元処理で用いられるフィルタ（フィルタＡ）の特性の一例を示し、図１８Ｂはリンギング対策復元フィルタ（フィルタＢ）の特性の一例を示す。なお、図１８Ａ，１８Ｂでは、理解を容易にするため１次元の周波数特性が例示されている。また図１８Ａ，１８Ｂに示される各フィルタの縦軸はレスポンス（振幅）を表し、横軸は周波数を表しており、横軸はサンプリング周波数で正規化された数値を基準としている。

フィルタ選択部５５（図１７参照）は、リンギングの発生可能性が高くない（低い）と判定される画像（原画像データ）に対しては、図１８Ａに示されるような「高周波域におけるレスポンス（振幅）が比較的急峻に変化する通常の復元フィルタ」を選択する。また、フィルタ選択部５５は、リンギングの発生可能性が高いと判定される画像（原画像データ）に対しては、図１８Ｂに示されるような「リンギングの目立つ周波数帯域（ここでは高周波側と仮定）のレスポンス（振幅）成分が小さく比較的緩やかに変化するリンギング対策用の復元フィルタ」を選択する。

フィルタ選択部５５は、復元フィルタ記憶部５７が記憶する復元フィルタの情報を保持しており、復元フィルタ記憶部５７が記憶する復元フィルタのうち最適な復元フィルタをリンギング判定データに基づいて選択する。なお、図１８Ａ，１８Ｂに示される復元フィルタは一例に過ぎず、目的に応じた任意の復元フィルタをフィルタ選択部５５は選択可能である。例えば、輪郭補正に使用される複数種類の補正フィルタを基底フィルタとして、これらの基底フィルタの線形和によって構成される復元フィルタを、リンギング対策用の復元フィルタとして選択してもよい。

フィルタ選択部５５で画像（原画像データ）毎に選択された復元フィルタの情報は、フィルタ選択データとして点像復元処理部３６に送られる。

点像復元処理部３６は、複数の復元フィルタ（フィルタ係数群）を保持する復元フィルタ記憶部５７と、復元フィルタ記憶部５７から読み出される復元フィルタを原画像データに適用して回復画像データを算出する演算処理部５６とを有する。演算処理部５６には、原画像データ及びフィルタ選択部５５からのフィルタ選択データが入力される。演算処理部５６は、入力されたフィルタ選択データに対応する復元フィルタを、復元フィルタ記憶部５７から読み出して、入力される原画像データに適用する。

図１９は、図１７に示す画像処理ブロックによる点像復元処理フローを示す図である。

まず、画像解析部３７において原画像データが解析されて原画像データが飽和画素を含むか否かが調べられる（図１９のＳ２１）。そして、リンギング判定部３８において、原画像データが飽和画素を含む場合には回復画像データでリンギングが発生する可能性が高いと判定され、原画像データが飽和画素を含まない場合には回復画像データでリンギングが発生する可能性が高くない（低い）と判定される。

そして、点像復元処理によってリンギングが発生する可能性が高くない（低い）と判定される場合には（Ｓ２２のＮ）、フィルタ選択部５５において通常の復元フィルタ（図１８Ａ参照）が選択され、点像復元処理部３６においてこの通常の復元フィルタを用いた点像復元処理が原画像データに対して行われる（Ｓ２３）。一方、点像復元処理によってリンギングが発生する可能性が高いと判定される場合には（Ｓ２２のＹ）、フィルタ選択部５５においてリンギング対策復元フィルタ（図１８Ｂ参照）が選択され、点像復元処理部３６においてこのリンギング対策復元フィルタを用いた点像復元処理が原画像データに対して行われる（Ｓ２４）。

このように、原画像データに飽和画素が含まれているか否かに応じて、点像復元処理に使用する復元フィルタの特性を変更してもよい。例えば、原画像データに飽和画素が含まれなければ通常の復元フィルタを使用し、原画像データに飽和画素が含まれていればリンギングの目立つ周波数帯域の成分を小さくした復元フィルタを使用することが可能である。このように、画像（原画像データ）内で飽和画素の有無をチェックして、点像復元処理で使用する復元フィルタの特性を適宜変更することで、回復画像データにおけるリンギングの発生や強調を効果的に防ぐことができる。

なお、上述では「画像解析データ」に基づいて「画像（原画像データ）毎」に復元フィルタが選択される例について説明したが、これに限定されるものではない。例えば、上述の第１実施形態と同様に、本実施形態においても「画像取得条件データ」に基づいてリンギングの発生可能性が判定されてもよいし（図１３参照）、「画像解析データ及び画像取得条件データのうち少なくともいずれか一方を含む画像情報」に基づいてリンギングの発生可能性が判定されてもよい（図１４参照）。また、上述の第２実施形態のように（図１５及び図１６参照）、画像（原画像データ）の「画素（画素データ）毎」／「分割領域毎」に、復元フィルタが選択されて点像復元処理が行われてもよい。

＜第４実施形態＞
本実施形態において、上述の実施形態と同様の構成及び作用については、説明を省略する。

本実施形態では、階調補正（ガンマ補正処理）前の原画像データ及び階調補正後の原画像データのうちいずれに対して点像復元処理を行うかが、画像解析データ及び画像取得条件データのうち少なくともいずれか一方に基づいて決定される。

以下では、原画像データが飽和画素を含むか否かの情報（画像解析データ）に基づいて、画像（原画像データ）単位で、点像復元処理がコントロールされる例について説明する。

図２０は、第４実施形態に係る画像処理ブロックの一例を示す図である。

本実施形態に係る画像処理部３５（図２参照）では、ガンマ補正処理後に点像復元処理を行う図７Ｂに示す処理系と、ガンマ補正処理前に点像復元処理を行う図７Ｃに示す処理系とのうち最適な処理系が、リンギングの発生可能性に基づいて、実質的に選択されるようになっている。

図２０に示す本例の処理系では、オフセット補正処理４１、ＷＢ補正処理４２及びデモザイク処理４３は上述の図７Ｂ及び７Ｃと同じであるが、デモザイク処理４３の後段に復元処理判定部（処理制御部）３９が設けられている。

本例の復元処理判定部３９は、リンギング判定部３８の判定結果（リンギング判定データ）に基づいて点像復元処理及び階調補正をコントロールし、階調補正前の原画像データ及び階調補正後の原画像データのうちいずれに対して復元処理を行うかを決定する。すなわち、復元処理判定部３９は、リンギング判定部３８からのリンギング判定データに基づいて、「原画像データの階調補正を行うガンマ補正処理（階調補正部）４４ａの後段で点像復元処理４６ａが行われる処理系」と「ガンマ補正処理４４ｂの前段で点像復元処理４６ｂが行われる処理系」とのうちいずれか一方を選択する。なお、いずれの処理系が選択されても、「ガンマ補正処理」及び「点像復元処理」を受けた画像データ（ＲＧＢ色データ）は、後段の輝度・色差変換処理４５において輝度データ及び色差データへの変換処理を受ける。

図２１は、図２０に示す画像処理ブロックによる点像復元処理フローを示す図である。

本例では、画像解析部３７において原画像データが解析されて原画像データが飽和画素を含むか否かが調べられる（図２１のＳ４１）。そして、リンギング判定部３８において、原画像データが飽和画素を含む場合には回復画像データにおいてリンギングが発生する可能性が高いと判定され、原画像データが飽和画素を含まない場合には回復画像データにおいてリンギングが発生する可能性が高くない（低い）と判定される。

そして、リンギングが発生する可能性が高くない（低い）と判定される場合（例えば原画像データ内に飽和画素が無い場合）には（Ｓ４２のＮ）、復元処理判定部３９によってＲＧＢ色データ（デモザイクデータ）が「ガンマ補正処理４４ｂの前段で点像復元処理４６ｂが行われる処理系」に送られる（Ｓ４３）。一方、点像復元処理によってリンギングが発生する可能性が高いと判定される場合（例えば原画像データ内に飽和画素が有る場合）には（Ｓ４２のＹ）、復元処理判定部３９によってＲＧＢ色データ（デモザイクデータ）が「ガンマ補正処理４４ａの後段で点像復元処理４６ａが行われる処理系」に送られる（Ｓ４４）。

ハード構成の制約が無い処理環境下では、本実施形態のように、ガンマ補正処理前に点像復元処理を行う処理系とガンマ補正処理後に点像復元処理を行う処理系の両方を画像処理部３５が持ち、状況に応じて（リンギングの発生状況に応じて）両処理系を使い分けるようにしてもよい。これにより、点像復元処理によってもたらされうるリンギング等の副作用が目立たないと思われる画像に対しては精度の高い補正（点像復元処理）を積極的に実施し、副作用が目立つ可能性がある画像に対してはタフネス性に優れた処理系を利用することで、補正効果と副作用抑制の両立を高い次元で実現することが可能である。

なお、上述の例では、リンギング判定データに基づいて、ガンマ補正処理及び点像復元処理の処理順序が異なる処理系が選択されるが、点像復元処理による復元成分に応じて処理系を選択するようにしてもよい。

図２２は、第４実施形態に係る画像処理ブロックの一変形例を示す図である。

本変形例に係る画像処理部３５（図２参照）は、復元処理情報取得部８６を有する。この復元処理情報取得部８６は、点像復元処理４６ａ、４６ｂが、原画像データの振幅成分のみを復元して回復画像データを得る処理であるか、原画像データの振幅成分及び位相成分を復元して回復画像データを得る処理であるかについての復元処理情報を取得する。

復元処理判定部（処理制御部）３９は、リンギング判定部３８の判定結果に加え、復元処理情報取得部８６が取得する復元処理情報に基づいて、ガンマ補正処理（階調補正）前の原画像データ及びガンマ補正処理後の原画像データのうちいずれに対して点像復元処理を行うか決定する。例えば、復元処理情報が「点像復元処理４６ａ、４６ｂが、原画像データの振幅成分のみを復元して回復画像データを得る処理である」ことを示す場合、「ガンマ補正処理４４ａの後段で点像復元処理４６ａが行われる処理系」にＲＧＢ色データ（デモザイクデータ）が送られるように、復元処理判定部３９は画像処理をコントロールしてもよい。また、復元処理情報が「点像復元処理４６ａ、４６ｂが、原画像データの振幅成分及び位相成分を復元して回復画像データを得る処理である」ことを示す場合、「ガンマ補正処理４４ｂの前段で点像復元処理４６ｂが行われる処理系」にＲＧＢ色データ（デモザイクデータ）が送られるように、復元処理判定部３９は画像処理をコントロールしてもよい。

一般に、「位相成分の復元を伴わない点像復元処理」の場合は回復画像データにおいてリンギングが発生し易く、「位相成分の復元を伴う点像復元処理」の場合は回復画像データにおいてリンギングを低減できる。したがって、本実施形態のように「原画像データの振幅成分のみを復元して回復画像データを得る点像復元処理４６ａ、４６ｂ」すなわち「位相成分の復元を伴わない点像復元処理」が行われる場合には「ガンマ補正処理後」に点像復元処理を行うことで、「点像復元処理で生じたリンギングをガンマ補正処理によって強調する」という弊害を効果的に防ぐことができる。

なお、上述では「画像解析データ」に基づいて画像（原画像データ）毎にガンマ補正処理及び点像復元処理の順序がコントロールされる例について説明したが、これに限定されるものではない。例えば、上述の第１実施形態と同様に、本実施形態においても「画像取得条件データ」に基づいてガンマ補正処理及び点像復元処理の順序がコントロールされてもよいし（図１３参照）、「画像解析データ及び画像取得条件データのうち少なくともいずれか一方を含む画像情報」に基づいてガンマ補正処理及び点像復元処理の順序がコントロールされてもよい（図１４参照）。

また、上述の例では、ＲＧＢ色データに対して「ガンマ補正処理」及び「点像復元処理」が行われているが、輝度データ（Ｙ）に対して「ガンマ補正処理」及び「点像復元処理」が行われる画像処理系においても、本実施形態及びその変形例は適用可能である。

＜第５実施形態＞
本実施形態において、上述の実施形態と同様の構成及び作用については、説明を省略する。

本実施形態では、色データ（ＲＧＢデータ）及び輝度データ（Ｙ）のうちいずれに対して点像復元処理を行うかが、画像解析データ及び画像取得条件データのうち少なくともいずれか一方に基づいて決定される。

以下では、原画像データが飽和画素を含むか否かの情報（画像解析データ）に基づいて、画像（原画像データ）単位で、点像復元処理がコントロールされる例について説明する。

図２３は、第５実施形態に係る画像処理ブロックの一例を示す図である。

本実施形態に係る画像処理部３５（図２参照）では、ガンマ補正処理後に点像復元処理を行う図７Ａに示す処理系と、ガンマ補正処理後に点像復元処理を行う図７Ｂに示す処理系とのうち最適な処理系が、リンギングの発生可能性に基づいて、実質的に選択されるようになっている。

図２３に示す本例の処理系では、オフセット補正処理４１、ＷＢ補正処理４２、デモザイク処理４３及びガンマ補正処理４４は上述の図７Ａ及び図７Ｂと同じであるが、ガンマ補正処理４４の後段に復元処理判定部（処理制御部）３９が設けられている。

本例の復元処理判定部３９は、リンギング判定部３８の判定結果（リンギング判定データ）に基づいて、原画像データの輝度データ及び色データのうちいずれに対して復元処理を行うか決定する。そして、点像復元処理４６ａ、４６ｂは、原画像データの輝度データ及び色データのうち、復元処理判定部３９によって決定されたデータに対して点像復元処理を行う。すなわち、復元処理判定部３９は、リンギング判定部３８からのリンギング判定データに基づいて、「輝度・色差変換処理４５ａの後段で点像復元処理４６ａが行われる処理系」と「点像復元処理４６ｂの後段で輝度・色差変換処理４５ｂが行われる処理系」とのうちいずれか一方を選択する。

「輝度・色差変換処理４５ａの後段で点像復元処理４６ａが行われる処理系」が選択される場合、点像復元処理対象の原画像データは輝度データ（Ｙ）を含み、点像復元処理部３６は、原画像データの輝度データに対して点像復元処理４６ａを行う。一方、「点像復元処理４６ｂの後段で輝度・色差変換処理４５ｂが行われる処理系」が選択される場合、点像復元処理対象の原画像データは色データ（ＲＧＢデータ）を含み、点像復元処理部３６は、原画像データの色データに対して点像復元処理４６ｂを行う。

なお、いずれの処理系が選択されても、点像復元処理及び輝度・色差変換処理の前に、オフセット補正処理４１、ＷＢ補正処理４２、デモザイク処理４３及びガンマ補正処理４４が行われているため、ガンマ補正処理（階調補正処理）後の画像データに対して点像復元処理４６ａ、４６ｂが行われる。

図２４は、図２３に示す画像処理ブロックによる点像復元処理フローを示す図である。

本例では、画像解析部３７において原画像データが解析されて原画像データが飽和画素を含むか否かが調べられる（図２４のＳ５１）。そして、リンギング判定部３８において、原画像データが飽和画素を含む場合には「回復画像データにおいてリンギングが発生する可能性が高い」と判定され、原画像データが飽和画素を含まない場合には「回復画像データにおいてリンギングが発生する可能性が高くない（低い）」と判定される。

そして、点像復元処理によってリンギングが発生する可能性が高くない（低い）と判定される場合（例えば原画像データ内に飽和画素が無い場合）には（Ｓ５２のＮ）、復元処理判定部３９によってＲＧＢ色データ（デモザイクデータ）が「点像復元処理４６ｂの後段で輝度・色差変換処理４５ｂが行われる処理系」に送られ、原画像データの色データ（ＲＧＢデータ）に対して点像復元処理が行われる（Ｓ５３）。一方、点像復元処理によってリンギングが発生する可能性が高いと判定される場合（例えば原画像データ内に飽和画素が有る場合）には（Ｓ４２のＹ）、復元処理判定部３９によってＲＧＢ色データ（デモザイクデータ）が「輝度・色差変換処理４５ａの後段で点像復元処理４６ａが行われる処理系」に送られ、原画像データの輝度データ（Ｙ）に対して点像復元処理が行われる（Ｓ５４）。

なお、上述では「画像解析データ」に基づいて画像（原画像データ）毎に輝度・色差変換処理及び点像復元処理の順序がコントロールされる例について説明したが、これに限定されるものではない。例えば、上述の第１実施形態と同様に、本実施形態においても「画像取得条件データ」に基づいて輝度・色差変換処理及び点像復元処理の順序がコントロールされてもよいし（図１３参照）、「画像解析データ及び画像取得条件データのうち少なくともいずれか一方を含む画像情報」に基づいて輝度・色差変換処理及び点像復元処理の順序がコントロールされてもよい（図１４参照）。

＜他の変形例＞
上述のデジタルカメラ１０は例示に過ぎず、他の構成に対しても本発明を適用することが可能である。各機能構成は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。したがって、例えば、上述の各装置及び処理部（カメラ本体コントローラ２８、デバイス制御部３４、画像処理部３５、点像復元処理部３６等）における画像処理方法（画像処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することができる。

＜ＥＤｏＦシステムへの適用例＞
上述の実施形態における復元処理は、特定の撮影条件（例えば、絞り値、Ｆ値、焦点距離、レンズ種類、など）に応じて点拡がり（点像ぼけ）を回復修正することで本来の被写体像を復元する画像処理であるが、本発明を適用可能な画像復元処理は上述の実施形態における復元処理に限定されるものではない。例えば、拡大された被写界（焦点）深度（ＥＤｏＦ：Ｅｘｔｅｎｄｅｄ Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ（Ｆｏｃｕｓ））を有する光学系（撮影レンズ等）によって撮影取得された画像データに対する復元処理に対しても、本発明に係る復元処理を適用することが可能である。ＥＤｏＦ光学系によって被写界深度（焦点深度）が拡大された状態で撮影取得されるぼけ画像の画像データに対して復元処理を行うことで、広範囲でピントが合った状態の高解像度の画像データを復元生成することができる。この場合、ＥＤｏＦ光学系の点拡がり関数（ＰＳＦ、ＯＴＦ、ＭＴＦ、ＰＴＦ、等）に基づく復元フィルタであって、拡大された被写界深度（焦点深度）の範囲内において良好な画像復元が可能となるように設定されたフィルタ係数を有する復元フィルタを用いた復元処理が行われる。

以下に、ＥＤｏＦ光学系を介して撮影取得された画像データの復元に関するシステム（ＥＤｏＦシステム）の一例について説明する。なお、以下に示す例では、デモザイク処理後の画像データ（ＲＧＢデータ）から得られる輝度信号（Ｙデータ）に対して復元処理を行う例について説明するが、復元処理を行うタイミングは特に限定されず、例えば「デモザイク処理前の画像データ（モザイク画像データ）」や「デモザイク処理後であって輝度信号変換処理前の画像データ（デモザイク画像データ）」に対して復元処理が行われてもよい。

図２５は、ＥＤｏＦ光学系を備える撮像モジュール１０１の一形態を示すブロック図である。本例の撮像モジュール（デジタルカメラ等）１０１は、ＥＤｏＦ光学系（レンズユニット；光学系）１１０と、撮像素子１１２と、ＡＤ変換部１１４と、復元処理ブロック（画像処理部）１２０とを含む。

図２６は、ＥＤｏＦ光学系１１０の一例を示す図である。本例のＥＤｏＦ光学系１１０は、単焦点の固定された撮影レンズ１１０Ａと、瞳位置に配置される光学フィルタ１１１とを有する。光学フィルタ１１１は、位相を変調させるもので、拡大された被写界深度（焦点深度）（ＥＤｏＦ）が得られるようにＥＤｏＦ光学系１１０（撮影レンズ１１０Ａ）をＥＤｏＦ化する。このように、撮影レンズ１１０Ａ及び光学フィルタ１１１は、位相を変調して被写界深度を拡大させるレンズ部を構成する。

なお、ＥＤｏＦ光学系１１０は必要に応じて他の構成要素を含み、例えば光学フィルタ１１１の近傍には絞り（図示省略）が配設されている。また、光学フィルタ１１１は、１枚でもよいし、複数枚を組み合わせたものでもよい。また、光学フィルタ１１１は、光学的位相変調手段の一例に過ぎず、ＥＤｏＦ光学系１１０（撮影レンズ１１０Ａ）のＥＤｏＦ化は他の手段によって実現されてもよい。例えば、光学フィルタ１１１を設ける代わりに、本例の光学フィルタ１１１と同等の機能を有するようにレンズ設計された撮影レンズ１１０ＡによってＥＤｏＦ光学系１１０のＥＤｏＦ化を実現してもよい。

すなわち、撮像素子１１２の受光面への結像の波面を変化させる各種の手段によって、ＥＤｏＦ光学系１１０のＥＤｏＦ化を実現することが可能である。例えば、「厚みが変化する光学素子」、「屈折率が変化する光学素子（屈折率分布型波面変調レンズ等）」、「レンズ表面へのコーディング等により厚みや屈折率が変化する光学素子（波面変調ハイブリッドレンズ、レンズ面上に位相面として形成される光学素子、等）」、「光の位相分布を変調可能な液晶素子（液晶空間位相変調素子等）」を、ＥＤｏＦ光学系１１０のＥＤｏＦ化手段として採用しうる。このように、光波面変調素子（光学フィルタ１１１（位相板））によって規則的に分散した画像形成が可能なケースだけではなく、光波面変調素子を用いた場合と同様の分散画像を、光波面変調素子を用いずに撮影レンズ１１０Ａ自体によって形成可能なケースに対しても、本発明は応用可能である。

図２６に示すＥＤｏＦ光学系１１０は、メカ的に焦点調節を行う焦点調節機構を省略することができるため小型化が可能であり、カメラ付き携帯電話や携帯情報端末に好適に搭載可能である。

ＥＤｏＦ化されたＥＤｏＦ光学系１１０を通過後の光学像は、図２５に示す撮像素子１１２に結像され、ここで電気信号に変換される。

撮像素子１１２は、パターン配列（ベイヤー配列、ＧストライプＲ／Ｇ完全市松、Ｘ−Ｔｒａｎｓ配列、ハニカム配列、等）でマトリクス状に配置された複数画素によって構成され、各画素はマイクロレンズ、カラーフィルタ（本例ではＲＧＢカラーフィルタ）及びフォトダイオードを含んで構成される。ＥＤｏＦ光学系１１０を介して撮像素子１１２の受光面に入射した光学像は、その受光面に配列された各フォトダイオードにより入射光量に応じた量の信号電荷に変換される。そして、各フォトダイオードに蓄積されたＲ・Ｇ・Ｂの信号電荷は、画素毎の電圧信号（画像信号）として順次出力される。

ＡＤ変換部１１４は、撮像素子１１２から画素毎に出力されるアナログのＲ・Ｇ・Ｂ画像信号をデジタルのＲＧＢ画像信号に変換する。ＡＤ変換部１１４によりデジタルの画像信号に変換されたデジタル画像信号は、復元処理ブロック１２０に加えられる。

復元処理ブロック１２０は、例えば、黒レベル調整部１２２と、ホワイトバランスゲイン部１２３と、ガンマ処理部１２４と、デモザイク処理部１２５と、ＲＧＢ／ＹＣｒＣｂ変換部１２６と、Ｙ信号復元処理部１２７とを含む。

黒レベル調整部１２２は、ＡＤ変換部１１４から出力されたデジタル画像信号に黒レベル調整を施す。黒レベル調整には、公知の方法が採用されうる。例えば、ある有効光電変換素子に着目した場合、その有効光電変換素子を含む光電変換素子行に含まれる複数のＯＢ光電変換素子の各々に対応する暗電流量取得用信号の平均を求め、その有効光電変換素子に対応する暗電流量取得用信号から該平均を減算することで、黒レベル調整が行われる。

ホワイトバランスゲイン部１２３は、黒レベルデータが調整されたデジタル画像信号に含まれるＲＧＢ各色信号のホワイトバランスゲインに応じたゲイン調整を行う。

ガンマ処理部１２４は、ホワイトバランス調整されたＲ、Ｇ、Ｂ画像信号が所望のガンマ特性となるように中間調等の階調補正を行うガンマ補正を行う。

デモザイク処理部１２５は、ガンマ補正後のＲ、Ｇ、Ｂ画像信号にデモザイク処理を施す。具体的には、デモザイク処理部１２５は、Ｒ、Ｇ、Ｂの画像信号に色補間処理を施すことにより、撮像素子１１２の各受光画素から出力される一組の画像信号（Ｒ信号、Ｇ信号、Ｂ信号）を生成する。すなわち、色デモザイク処理前は、各受光画素からの画素信号はＲ、Ｇ、Ｂの画像信号のいずれかであるが、色デモザイク処理後は、各受光画素に対応するＲ、Ｇ、Ｂ信号の３つの画素信号の組が出力されることとなる。

ＲＧＢ／ＹＣｒＣｂ変換部１２６は、デモザイク処理された画素毎のＲ、Ｇ、Ｂ信号を、輝度信号Ｙと色差信号Ｃｒ、Ｃｂに変換し、画素毎の輝度信号Ｙ及び色差信号Ｃｒ、Ｃｂを出力する。

Ｙ信号復元処理部１２７は、予め記憶された復元フィルタに基づいて、ＲＧＢ／ＹＣｒＣｂ変換部１２６からの輝度信号Ｙに復元処理を行う。復元フィルタは、例えば、７×７のカーネルサイズを有するデコンボリューションカーネル（Ｍ＝７、Ｎ＝７のタップ数に対応）と、そのデコンボリューションカーネルに対応する演算係数（復元ゲインデータ、フィルタ係数に対応）とからなり、光学フィルタ１１１の位相変調分のデコンボリューション処理（逆畳み込み演算処理）に使用される。なお、復元フィルタは、光学フィルタ１１１に対応するものが図示しないメモリ（例えばＹ信号復元処理部１２７が付随的に設けられるメモリ）に記憶される。また、デコンボリューションカーネルのカーネルサイズは、７×７のものに限らない。

次に、復元処理ブロック１２０による復元処理について説明する。図２７は、図２５に示す復元処理ブロック１２０による復元処理フローの一例を示す図である。

黒レベル調整部１２２の一方の入力には、ＡＤ変換部１１４からデジタル画像信号が加えられており、他の入力には黒レベルデータが加えられており、黒レベル調整部１・BR>Q２は、デジタル画像信号から黒レベルデータを減算し、黒レベルデータが減算されたデジタル画像信号をホワイトバランスゲイン部１２３に出力する（Ｓ６１）。これにより、デジタル画像信号には黒レベル成分が含まれなくなり、黒レベルを示すデジタル画像信号は０になる。

黒レベル調整後の画像データに対し、順次、ホワイトバランスゲイン部１２３、ガンマ処理部１２４による処理が施される（Ｓ６２及びＳ６３）。

ガンマ補正されたＲ、Ｇ、Ｂ信号は、デモザイク処理部１２５でデモザイク処理された後に、ＲＧＢ／ＹＣｒＣｂ変換部１２６において輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂに変換される（Ｓ６４）。

Ｙ信号復元処理部１２７は、輝度信号Ｙに、ＥＤｏＦ光学系１１０の光学フィルタ１１１の位相変調分のデコンボリューション処理を掛ける復元処理を行う（Ｓ６５）。すなわち、Ｙ信号復元処理部１２７は、任意の処理対象の画素を中心とする所定単位の画素群に対応する輝度信号（ここでは７×７画素の輝度信号）と、予めメモリなどに記憶されている復元フィルタ（７×７のデコンボリューションカーネルとその演算係数）とのデコンボリューション処理（逆畳み込み演算処理）を行う。Ｙ信号復元処理部１２７は、この所定単位の画素群ごとのデコンボリューション処理を撮像面の全領域をカバーするよう繰り返すことにより画像全体の像ぼけを取り除く復元処理を行う。復元フィルタは、デコンボリューション処理を施す画素群の中心の位置に応じて定められている。すなわち、近接する画素群には、共通の復元フィルタが適用される。さらに復元処理を簡略化するためには、全ての画素群に共通の復元フィルタが適用されることが好ましい。

図２８の（ａ）に示すように、ＥＤｏＦ光学系１１０を通過後の輝度信号の点像（光学像）は、大きな点像（ぼけた画像）として撮像素子１１２に結像されるが、Ｙ信号復元処理部１２７でのデコンボリューション処理により、図２８の（ｂ）に示すように小さな点像（高解像度の画像）に復元される。

上述のようにデモザイク処理後の輝度信号に復元処理をかけることで、復元処理のパラメータをＲＧＢ別々に持つ必要がなくなり、復元処理を高速化することができる。また、飛び飛びの位置にあるＲ・Ｇ・Ｂの画素に対応するＲ・Ｇ・Ｂの画像信号をそれぞれ１単位にまとめてデコンボリューション処理するのでなく、近接する画素の輝度信号同士を所定の単位にまとめ、その単位には共通の復元フィルタを適用してデコンボリューション処理するため、復元処理の精度が向上する。なお、色差信号Ｃｒ・Ｃｂについては、人の目による視覚の特性上、復元処理で解像度を上げなくても画質的には許容される。また、ＪＰＥＧのような圧縮形式で画像を記録する場合、色差信号は輝度信号よりも高い圧縮率で圧縮されるので、復元処理で解像度を上げる必要性が乏しい。こうして、復元精度の向上と処理の簡易化及び高速化を両立できる。

以上説明したようなＥＤｏＦシステムの復元処理に対しても、本発明の各実施形態に係る点像復元処理を適用することが可能であり、特に第２実施形態〜第５実施形態及びそれらの変形例がＥＤｏＦシステムに対して好適である。

なお、上述の各実施形態では、点像復元処理部３６が、デジタルカメラ１０のカメラ本体１４（カメラ本体コントローラ２８）に設けられる態様について説明したが、コンピュータ６０やサーバ８０等の他の装置に点像復元処理部３６が設けられてもよい。

例えば、コンピュータ６０において画像データを加工する際に、コンピュータ６０に設けられる点像復元処理部によってこの画像データの点像復元処理が行われてもよい。また、サーバ８０が点像復元処理部を備える場合、例えば、デジタルカメラ１０やコンピュータ６０からサーバ８０に画像データが送信され、サーバ８０の点像復元処理部においてこの画像データに対して点像復元処理が行われ、点像復元処理後の画像データ（回復画像データ）が送信元に送信・提供されるようにしてもよい。

また、本発明を適用可能な態様はデジタルカメラ１０、コンピュータ６０及びサーバ８０には限定されず、撮像を主たる機能とするカメラ類の他に、撮像機能に加えて撮像以外の他の機能（通話機能、通信機能、その他のコンピュータ機能）を備えるモバイル機器類に対しても適用可能である。本発明を適用可能な他の態様としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、携帯型ゲーム機が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。

＜スマートフォンの構成＞
図２９は、本発明の撮影装置の一実施形態であるスマートフォン２０１の外観を示すものである。図２９に示すスマートフォン２０１は、平板状の筐体２０２を有し、筐体２０２の一方の面に表示部としての表示パネル２２１と、入力部としての操作パネル２２２とが一体となった表示入力部２２０を備えている。また、係る筐体２０２は、スピーカ２３１と、マイクロホン２３２、操作部２４０と、カメラ部２４１とを備えている。なお、筐体２０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。

図３０は、図２９に示すスマートフォン２０１の構成を示すブロック図である。図３０に示すように、スマートフォンの主たる構成要素として、無線通信部２１０と、表示入力部２２０と、通話部２３０と、操作部２４０と、カメラ部２４１と、記憶部２５０と、外部入出力部２６０と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部２７０と、モーションセンサ部２８０と、電源部２９０と、主制御部２００とを備える。また、スマートフォン２０１の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部２１０は、主制御部２００の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。係る無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部２２０は、主制御部２００の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達し、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル２２１と、操作パネル２２２とを備える。

表示パネル２２１は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。操作パネル２２２は、表示パネル２２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部２００に出力する。次いで、主制御部２００は、受信した検出信号に基づいて、表示パネル２２１上の操作位置（座標）を検出する。

図２９に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン２０１の表示パネル２２１と操作パネル２２２とは一体となって表示入力部２２０を構成しているが、操作パネル２２２が表示パネル２２１を完全に覆うような配置となっている。係る配置を採用した場合、操作パネル２２２は、表示パネル２２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル２２２は、表示パネル２２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

なお、表示領域の大きさと表示パネル２２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル２２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体２０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル２２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部２３０は、スピーカ２３１やマイクロホン２３２を備え、マイクロホン２３２を通じて入力されたユーザの音声を主制御部２００にて処理可能な音声データに変換して主制御部２００に出力したり、無線通信部２１０あるいは外部入出力部２６０により受信された音声データを復号してスピーカ２３１から出力するものである。また、図２９に示すように、例えば、スピーカ２３１を表示入力部２２０が設けられた面と同じ面に搭載し、マイクロホン２３２を筐体２０２の側面に搭載することができる。

操作部２４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図２９に示すように、操作部２４０は、スマートフォン２０１の筐体２０２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部２５０は、主制御部２００の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部２５０は、スマートフォン内蔵の内部記憶部２５１と着脱自在な外部メモリスロットを有する外部記憶部２５２により構成される。なお、記憶部２５０を構成するそれぞれの内部記憶部２５１と外部記憶部２５２は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。

外部入出力部２６０は、スマートフォン２０１に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン２０１に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン２０１の内部の各構成要素に伝達することや、スマートフォン２０１の内部のデータを外部機器に伝送することが可能である。

ＧＰＳ受信部２７０は、主制御部２００の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン２０１の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部２７０は、無線通信部２１０や外部入出力部２６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部２８０は、例えば、３軸の加速度センサなどを備え、主制御部２００の指示にしたがって、スマートフォン２０１の物理的な動きを検出する。スマートフォン２０１の物理的な動きを検出することにより、スマートフォン２０１の動く方向や加速度が検出される。係る検出結果は、主制御部２００に出力されるものである。

電源部２９０は、主制御部２００の指示にしたがって、スマートフォン２０１の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部２００は、マイクロプロセッサを備え、記憶部２５０が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン２０１の各部を統括して制御するものである。また、主制御部２００は、無線通信部２１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部２５０が記憶するアプリケーションソフトウェアにしたがって主制御部２００が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部２６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

また、主制御部２００は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部２２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部２００が、上記画像データを復号し、係る復号結果に画像処理を施して、画像を表示入力部２２０に表示する機能のことをいう。

更に、主制御部２００は、表示パネル２２１に対する表示制御と、操作部２４０、操作パネル２２２を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により、主制御部２００は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル２２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部２００は、操作部２４０を通じたユーザ操作を検出したり、操作パネル２２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部２００は、操作パネル２２２に対する操作位置が、表示パネル２２１に重なる重畳部分（表示領域）か、それ以外の表示パネル２２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル２２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部２００は、操作パネル２２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部２４１は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部２４１は、主制御部２００の制御により、撮像によって得た画像データを例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの圧縮した画像データに変換し、記憶部２５０に記録したり、入出力部２６０や無線通信部２１０を通じて出力することができる。図２９に示すにスマートフォン２０１において、カメラ部２４１は表示入力部２２０と同じ面に搭載されているが、カメラ部２４１の搭載位置はこれに限らず、表示入力部２２０の背面に搭載されてもよいし、あるいは、複数のカメラ部２４１が搭載されてもよい。なお、複数のカメラ部２４１が搭載されている場合、撮影に供するカメラ部２４１を切り替えて単独にて撮影したり、あるいは、複数のカメラ部２４１を同時に使用して撮影することもできる。

また、カメラ部２４１はスマートフォン２０１の各種機能に利用することができる。例えば、表示パネル２２１にカメラ部２４１で取得した画像を表示することや、操作パネル２２２の操作入力のひとつとして、カメラ部２４１の画像を利用することができる。また、ＧＰＳ受信部２７０が位置を検出する際に、カメラ部２４１からの画像を参照して位置を検出することもできる。更には、カメラ部２４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン２０１のカメラ部２４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部２４１からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画又は動画の画像データにＧＰＳ受信部２７０により取得した位置情報、マイクロホン２３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部２８０により取得した姿勢情報等などを付加して記憶部２５０に記録したり、入出力部２６０や無線通信部２１０を通じて出力することもできる。

上述のスマートフォン２０１において、点像復元処理に関連する上述の各処理部は、例えば主制御部２００、記憶部２５０等によって適宜実現可能である。

本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０…デジタルカメラ、１２…レンズユニット、１４…カメラ本体、１６…レンズ、１７…絞り、１８…光学系操作部、２０…レンズユニットコントローラ、２２…レンズユニット入出力部、２６…撮像素子、２８…カメラ本体コントローラ、３０…カメラ本体入出力部、３２…入出力インターフェース、３４…デバイス制御部、３５…画像処理部、３６…点像復元処理部、３７…画像解析部、３８…リンギング判定部、３９…復元処理判定部、４０…画像取得条件取得部、４１…オフセット補正処理、４２…ＷＢ補正処理、４３…デモザイク処理、４４…ガンマ補正処理、４５…色差変換処理、４６…点像復元処理、４７…色信号変換処理、４８…画像情報取得部、５５…フィルタ選択部、５６…演算処理部、５７…復元フィルタ記憶部、６０…コンピュータ、６２…コンピュータ入出力部、６４…コンピュータコントローラ、６６…ディスプレイ、７０…インターネット、８０…サーバ、８２…サーバ入出力部、８４…サーバコントローラ、８６…復元処理情報取得部、１０１…撮像モジュール、１１０…ＥＤｏＦ光学系、１１０Ａ…撮影レンズ、１１１…光学フィルタ、１１２…撮像素子、１１４…ＡＤ変換部、１２０…復元処理ブロック、１２２…黒レベル調整部、１２３…ホワイトバランスゲイン部、１２４…ガンマ処理部、１２５…デモザイク処理部、１２６…変換部、１２７…Ｙ信号復元処理部、２００…主制御部、２０１…スマートフォン、２０２…筐体、２１０…無線通信部、２２０…表示入力部、２２１…表示パネル、２２２…操作パネル、２３０…通話部、２３１…スピーカ、２３２…マイクロホン、２４０…操作部、２４１…カメラ部、２５０…記憶部、２５１…内部記憶部、２５２…外部記憶部、２６０…外部入出力部、２７０…ＧＰＳ受信部、２８０…モーションセンサ部、２９０…電源部

画像取得条件取得部４０は、原画像データの取得条件を取得し、この原画像データ取得条件を示す画像取得条件データをリンギング判定部３８に送る。リンギング判定部３８は、この画像取得条件データが、復元処理により回復画像データにリンギングが発生する条件に該当するか否かを判定する。

そして、点像復元処理によってリンギングが発生する可能性が高くない（低い）と判定される場合（例えば原画像データ内に飽和画素が無い場合）には（Ｓ５２のＮ）、復元処理判定部３９によってＲＧＢ色データ（デモザイクデータ）が「点像復元処理４６ｂの後段で輝度・色差変換処理４５ｂが行われる処理系」に送られ、原画像データの色データ（ＲＧＢデータ）に対して点像復元処理が行われる（Ｓ５３）。一方、点像復元処理によってリンギングが発生する可能性が高いと判定される場合（例えば原画像データ内に飽和画素が有る場合）には（Ｓ５２のＹ）、復元処理判定部３９によってＲＧＢ色データ（デモザイクデータ）が「輝度・色差変換処理４５ａの後段で点像復元処理４６ａが行われる処理系」に送られ、原画像データの輝度データ（Ｙ）に対して点像復元処理が行われる（Ｓ５４）。

撮像素子１１２は、パターン配列（ベイヤー配列、ＧストライプＲ／Ｂ完全市松、Ｘ−Ｔｒａｎｓ配列、ハニカム配列、等）でマトリクス状に配置された複数画素によって構成され、各画素はマイクロレンズ、カラーフィルタ（本例ではＲＧＢカラーフィルタ）及びフォトダイオードを含んで構成される。ＥＤｏＦ光学系１１０を介して撮像素子１１２の受光面に入射した光学像は、その受光面に配列された各フォトダイオードにより入射光量に応じた量の信号電荷に変換される。そして、各フォトダイオードに蓄積されたＲ・Ｇ・Ｂの信号電荷は、画素毎の電圧信号（画像信号）として順次出力される。

黒レベル調整部１２２の一方の入力には、ＡＤ変換部１１４からデジタル画像信号が加えられており、他の入力には黒レベルデータが加えられており、黒レベル調整部１２２は、デジタル画像信号から黒レベルデータを減算し、黒レベルデータが減算されたデジタル画像信号をホワイトバランスゲイン部１２３に出力する（Ｓ６１）。これにより、デジタル画像信号には黒レベル成分が含まれなくなり、黒レベルを示すデジタル画像信号は０になる。

１０…デジタルカメラ、１２…レンズユニット、１４…カメラ本体、１６…レンズ、１７…絞り、１８…光学系操作部、２０…レンズユニットコントローラ、２２…レンズユニット入出力部、２６…撮像素子、２８…カメラ本体コントローラ、３０…カメラ本体入出力部、３２…入出力インターフェース、３４…デバイス制御部、３５…画像処理部、３６…点像復元処理部、３７…画像解析部、３８…リンギング判定部、３９…復元処理判定部、４０…画像取得条件取得部、４１…オフセット補正処理、４２…ＷＢ補正処理、４３…デモザイク処理、４４…ガンマ補正処理、４５…輝度・色差変換処理、４６…点像復元処理、４７…色信号変換処理、４８…画像情報取得部、５５…フィルタ選択部、５６…演算処理部、５７…復元フィルタ記憶部、６０…コンピュータ、６２…コンピュータ入出力部、６４…コンピュータコントローラ、６６…ディスプレイ、７０…インターネット、８０…サーバ、８２…サーバ入出力部、８４…サーバコントローラ、８６…復元処理情報取得部、１０１…撮像モジュール、１１０…ＥＤｏＦ光学系、１１０Ａ…撮影レンズ、１１１…光学フィルタ、１１２…撮像素子、１１４…ＡＤ変換部、１２０…復元処理ブロック、１２２…黒レベル調整部、１２３…ホワイトバランスゲイン部、１２４…ガンマ処理部、１２５…デモザイク処理部、１２６…ＲＧＢ／ＹＣｒＣｂ変換部、１２７…Ｙ信号復元処理部、２００…主制御部、２０１…スマートフォン、２０２…筐体、２１０…無線通信部、２２０…表示入力部、２２１…表示パネル、２２２…操作パネル、２３０…通話部、２３１…スピーカ、２３２…マイクロホン、２４０…操作部、２４１…カメラ部、２５０…記憶部、２５１…内部記憶部、２５２…外部記憶部、２６０…外部入出力部、２７０…ＧＰＳ受信部、２８０…モーションセンサ部、２９０…電源部

Claims (25)

1. 光学系を用いた撮影により撮像素子から取得される原画像データを解析して取得される画像解析データ及び前記原画像データの取得条件を示す画像取得条件データのうち、少なくともいずれか一方を含む画像情報を取得する画像情報取得部と、
   前記原画像データに対し、前記光学系の点拡がり関数に基づく復元フィルタを用いた復元処理を行って回復画像データを得る復元処理部と、
   前記画像情報が、前記復元処理により前記回復画像データにリンギングが生じる条件に該当するか否か判定するリンギング判定部と、
   前記リンギング判定部の判定結果に基づいて、画像処理をコントロールする処理制御部と、を備え、
   前記復元処理は、階調補正後の前記原画像データに対して行われる画像処理装置。
2. 光学系を用いた撮影により撮像素子から取得される原画像データを解析して取得される画像解析データ及び前記原画像データの取得条件を示す画像取得条件データのうち、少なくともいずれか一方を含む画像情報を取得する画像情報取得部と、
   前記原画像データに対し、前記光学系の点拡がり関数に基づく復元フィルタを用いた復元処理を行って回復画像データを得る復元処理部と、
   前記原画像データの階調補正を行う階調補正部と、
   前記画像情報が、前記復元処理により前記回復画像データにリンギングが生じる条件に該当するか否か判定するリンギング判定部と、
   前記リンギング判定部の判定結果に基づいて、前記復元処理をコントロールする処理制御部と、を備え、
   前記処理制御部は、前記リンギング判定部の判定結果に基づいて、前記階調補正前の前記原画像データ及び前記階調補正後の前記原画像データのうちいずれに対して前記復元処理を行うか決定する画像処理装置。
3. 前記階調補正は、対数化処理による階調補正であり、
   前記復元フィルタは、前記対数化処理前の画像データに対応したフィルタ係数から成る請求項１又は２に記載の画像処理装置。
4. 前記階調補正は、対数化処理による階調補正であり、
   前記復元フィルタは、前記対数化処理後の画像データに対応したフィルタ係数から成る請求項１又は２に記載の画像処理装置。
5. 前記復元処理は、前記原画像データの振幅成分のみを復元して前記回復画像データを得る処理である請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記復元処理は、前記原画像データの振幅成分及び位相成分を復元して前記回復画像データを得る処理である請求項１から４のいずれか１項に記載の画像処理装置。
7. 前記復元処理が、前記原画像データの振幅成分のみを復元して前記回復画像データを得る処理であるか、前記原画像データの振幅成分及び位相成分を復元して前記回復画像データを得る処理であるかについての復元処理情報を取得する復元処理情報取得部を更に備え、
   前記処理制御部は、前記リンギング判定部の判定結果に加え、前記復元処理情報取得部が取得する前記復元処理情報に基づいて、前記階調補正前の前記原画像データ及び前記階調補正後の前記原画像データのうちいずれに対して前記復元処理を行うか決定する請求項２に記載の画像処理装置。
8. 前記画像情報取得部は、画素値が飽和した画素データ又は閾値よりも大きな画素値を有する画素データが、前記原画像データに含まれるか否かを示す前記画像解析データを含む前記画像情報を取得する請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記画像取得条件データは、前記原画像データを取得する撮影に用いられた前記光学系の情報を含む請求項１から８のいずれか１項に記載の画像処理装置。
10. 前記光学系の情報は、前記原画像データを取得する撮影に用いられた前記光学系のレンズ種類、絞り値、ズーム値のうち少なくともいずれか１つを含む請求項９に記載の画像処理装置。
11. 前記処理制御部は、前記リンギング判定部の判定結果に基づいて、前記復元処理部における前記復元処理の実行の有無を決定する請求項１から１０のいずれか１項に記載の画像処理装置。
12. 前記処理制御部は、前記リンギング判定部の判定結果に基づいて、前記復元処理で用いる前記復元フィルタを決定する請求項１から１１のいずれか１項に記載の画像処理装置。
13. 前記原画像データの階調補正を行う階調補正部を備え、
    前記処理制御部は、前記リンギング判定部の判定結果に基づいて、前記階調補正部における前記階調補正をコントロールする請求項１から１２のいずれか１項に記載の画像処理装置。
14. 前記原画像データは、輝度データを含み、
    前記復元処理部は、前記原画像データの前記輝度データに対して前記復元処理を行う請求項１から１３のいずれか１項に記載の画像処理装置。
15. 前記原画像データは、色データを含み、
    前記復元処理部は、前記原画像データの前記色データに対して前記復元処理を行う請求項１から１３のいずれか１項に記載の画像処理装置。
16. 前記処理制御部は、前記リンギング判定部の判定結果に基づいて、前記原画像データの輝度データ及び色データのうちいずれに対して前記復元処理を行うか決定し、
    前記復元処理部は、前記原画像データの輝度データ及び色データのうち前記処理制御部によって決定されたデータに対して前記復元処理を行う請求項１から１３のいずれか１項に記載の画像処理装置。
17. 前記光学系は、位相を変調して被写界深度を拡大させるレンズ部を有する請求項１から１６のいずれか１項に記載の画像処理装置。
18. 前記処理制御部は、前記原画像データ毎に、前記画像処理又は前記復元処理をコントロールする請求項１から１７のいずれか１項に記載の画像処理装置。
19. 前記処理制御部は、前記原画像データを構成する画素データ毎に、前記画像処理又は前記復元処理をコントロールする請求項１から１７のいずれか１項に記載の画像処理装置。
20. 光学系を用いた撮影により原画像データを出力する撮像素子と、
    請求項１から１９のいずれか１項に記載の画像処理装置と、を備える撮像装置。
21. 光学系を用いた撮影により撮像素子から取得される原画像データを解析して取得される画像解析データ及び前記原画像データの取得条件を示す画像取得条件データのうち、少なくともいずれか一方を含む画像情報を取得する画像情報取得ステップと、
    前記原画像データに対し、前記光学系の点拡がり関数に基づく復元フィルタを用いた復元処理を行って回復画像データを得る復元処理ステップと、
    前記画像情報が、前記復元処理により前記回復画像データにリンギングが生じる条件に該当するか否か判定するリンギング判定ステップと、を含み、
    前記リンギング判定ステップの判定結果に基づいて、画像処理がコントロールされ、
    前記復元処理は、階調補正後の前記原画像データに対して行われる画像処理方法。
22. 光学系を用いた撮影により撮像素子から取得される原画像データを解析して取得される画像解析データ及び前記原画像データの取得条件を示す画像取得条件データのうち、少なくともいずれか一方を含む画像情報を取得する画像情報取得ステップと、
    前記原画像データに対し、前記光学系の点拡がり関数に基づく復元フィルタを用いた復元処理を行って回復画像データを得る復元処理ステップと、
    前記原画像データの階調補正を行う階調補正ステップと、
    前記画像情報が、前記復元処理により前記回復画像データにリンギングが生じる条件に該当するか否か判定するリンギング判定ステップと、を含み
    前記リンギング判定ステップの判定結果に基づいて、前記復元処理はコントロールされ、
    前記リンギング判定ステップの判定結果に基づいて、前記階調補正前の前記原画像データ及び前記階調補正後の前記原画像データのうちいずれに対して前記復元処理を行うかが決定される画像処理方法。
23. 光学系を用いた撮影により撮像素子から取得される原画像データを解析して取得される画像解析データ及び前記原画像データの取得条件を示す画像取得条件データのうち、少なくともいずれか一方を含む画像情報を取得する手順と、
    前記原画像データに対し、前記光学系の点拡がり関数に基づく復元フィルタを用いた復元処理を行って回復画像データを得る手順と、
    前記画像情報が、前記復元処理により前記回復画像データにリンギングが生じる条件に該当するか否か判定する手順と、をコンピュータに実行させるためのプログラムであって、
    リンギングが生じる条件に前記画像情報が該当するか否かの判定結果に基づいて、画像処理がコントロールされ、
    前記復元処理は、階調補正後の前記原画像データに対して行われるプログラム。
24. 光学系を用いた撮影により撮像素子から取得される原画像データを解析して取得される画像解析データ及び前記原画像データの取得条件を示す画像取得条件データのうち、少なくともいずれか一方を含む画像情報を取得する手順と、
    前記原画像データに対し、前記光学系の点拡がり関数に基づく復元フィルタを用いた復元処理を行って回復画像データを得る手順と、
    前記原画像データの階調補正を行う手順と、
    前記画像情報が、前記復元処理により前記回復画像データにリンギングが生じる条件に該当するか否か判定する手順と、をコンピュータに実行させるためのプログラムであって、
    リンギングが生じる条件に前記画像情報が該当するか否かの判定結果に基づいて、前記復元処理はコントロールされ、
    リンギングが生じる条件に前記画像情報が該当するか否かの判定結果に基づいて、前記階調補正前の前記原画像データ及び前記階調補正後の前記原画像データのうちいずれに対して前記復元処理を行うかが決定されるプログラム。
25. 請求項２３又は２４のいずれかに係るプログラムのコンピュータ読み取り可能なコードが記録された、非一時的記録媒体。