JP6202989B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents
画像処理装置、画像処理方法およびプログラム Download PDFInfo
- Publication number
- JP6202989B2 JP6202989B2 JP2013226038A JP2013226038A JP6202989B2 JP 6202989 B2 JP6202989 B2 JP 6202989B2 JP 2013226038 A JP2013226038 A JP 2013226038A JP 2013226038 A JP2013226038 A JP 2013226038A JP 6202989 B2 JP6202989 B2 JP 6202989B2
- Authority
- JP
- Japan
- Prior art keywords
- noise
- image
- correction
- unit
- captured image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
Description
本発明は、画像処理装置、画像処理方法およびプログラムに関し、特に、撮像光学系によって撮像画像に生じるボケを補正するために用いて好適なものである。
デジタルカメラやデジタルビデオカメラ等の撮像装置は、被写体からの光を、レンズ等で構成される撮像光学系によって、撮像デバイスであるＣＣＤやＣＭＯＳセンサ上に導き、結像させる。撮像デバイスに到達する光は、撮像光学系を通過するので、撮像光学系の影響を受ける。このため、撮像画像にボケが発生し、鮮鋭感に欠ける撮像画像となる。そこで、撮像光学系のボケ特性を補正する逆フィルタを用いて、鮮鋭感を回復する方法が知られている。特許文献１には、逆フィルタの影響により増大するノイズ量に応じて逆フィルタを制御する技術が開示されている。
S. Daly, "The Visible Differences Predictor: An algorithm for the assessment of image fidelity," in A.B. Watson, editor, Digital Image and Human Vision, pages 179-206, Cambridge, MA, MIT Press, 1993.
しかしながら、人間の視覚が知覚するノイズ量は線形ではないため、特許文献１に記載の技術では、フィルタによる補正が不十分または過剰になってしまうという課題があった。ここで、ノイズの見え方は背景の画像によって変化するという、視覚のマスキング効果が知られている。特許文献１に記載の技術では、高周波なテクスチャ領域においてマスキング効果が発生するため、十分なボケの回復を行うことができない。
本発明は、このような問題点に鑑みてなされたものであり、撮像画像からノイズが知覚されないように、撮像画像に生じるボケを低減することを目的とする。
本発明は、このような問題点に鑑みてなされたものであり、撮像画像からノイズが知覚されないように、撮像画像に生じるボケを低減することを目的とする。
本発明の画像処理装置は、撮像画像を撮像した際の露出に関する条件に基づいて、当該撮像画像におけるノイズの特性を導出するノイズ特性導出手段と、前記撮像画像と、前記ノイズ特性導出手段により導出されたノイズの特性と、光に対する視覚の感度を表す情報と、に基づいて、前記撮像画像に前記ノイズの特性に基づくノイズを重畳させた場合の当該ノイズの知覚のされやすさを評価した値であるノイズ知覚量を導出するノイズ知覚量導出手段と、前記ノイズ知覚量導出手段により導出されたノイズ知覚量に基づいて、前記撮像画像に生じるボケの補正を行う補正手段と、を有することを特徴とする。
本発明によれば、撮像画像からノイズが知覚されないように、撮像画像に生じるボケを低減することができる。
以下に、図面に基づいて本発明の実施形態について説明する。
（第１の実施形態）
まず、第１の実施形態について説明する。
本実施形態では、人間によるノイズの知覚されやすさを表現するノイズ知覚量を算出する。ここで、ノイズ知覚量は、ノイズ感度モデルに基づき、撮像画像の画像構造に応じたノイズの知覚しやすさをマップ化したノイズマップである。このノイズ知覚量を用いて、撮像画像に生じるボケを補正するための補正フィルタの補正量を決定する。これにより、撮像画像のノイズの知覚されやすさに応じた補正が可能となるため、ノイズが目立ちにくくしつつ、鮮鋭感を向上させる処理が可能となる。ここで、ノイズ感度モデルに関しては、例えば、非特許文献１に記載の技術がある。本実施形態では、非特許文献１に記載のノイズ感度モデルを用いる場合を例に挙げて説明する。
（第１の実施形態）
まず、第１の実施形態について説明する。
本実施形態では、人間によるノイズの知覚されやすさを表現するノイズ知覚量を算出する。ここで、ノイズ知覚量は、ノイズ感度モデルに基づき、撮像画像の画像構造に応じたノイズの知覚しやすさをマップ化したノイズマップである。このノイズ知覚量を用いて、撮像画像に生じるボケを補正するための補正フィルタの補正量を決定する。これにより、撮像画像のノイズの知覚されやすさに応じた補正が可能となるため、ノイズが目立ちにくくしつつ、鮮鋭感を向上させる処理が可能となる。ここで、ノイズ感度モデルに関しては、例えば、非特許文献１に記載の技術がある。本実施形態では、非特許文献１に記載のノイズ感度モデルを用いる場合を例に挙げて説明する。
＜システム全体の構成＞
図１は、本実施形態の画像処理装置を含むデジタルカメラ（撮像装置）の構成の一例を示すブロック図である。
撮像部１０１は、ズームレンズ、フォーカスレンズ、ぶれ補正レンズ、絞り、シャッター、光学ローパスフィルタ、ｉＲカットフィルタ、カラーフィルタおよびＣＭＯＳやＣＣＤ等のセンサ（固体撮像素子）、を含み、被写体の光量を検知する。
Ａ／Ｄ変換部１０２は、被写体の光量をデジタル値に変換する。
信号処理部１０３は、Ａ／Ｄ変換部１０２で変換されたデジタル値に、デモザイキング処理、ホワイトバランス処理およびガンマ処理などを行い、デジタル画像を生成する。
図１は、本実施形態の画像処理装置を含むデジタルカメラ（撮像装置）の構成の一例を示すブロック図である。
撮像部１０１は、ズームレンズ、フォーカスレンズ、ぶれ補正レンズ、絞り、シャッター、光学ローパスフィルタ、ｉＲカットフィルタ、カラーフィルタおよびＣＭＯＳやＣＣＤ等のセンサ（固体撮像素子）、を含み、被写体の光量を検知する。
Ａ／Ｄ変換部１０２は、被写体の光量をデジタル値に変換する。
信号処理部１０３は、Ａ／Ｄ変換部１０２で変換されたデジタル値に、デモザイキング処理、ホワイトバランス処理およびガンマ処理などを行い、デジタル画像を生成する。
画像処理部１０４は、信号処理部１０３で生成されたデジタル画像に対するノイズ低減処理を行う。
エンコーダ部１０５は、ノイズ低減処理が行われたデジタル画像をＪＰＥＧ等の映像圧縮フォーマットに変換する処理を行う。
メディアインタフェース（Ｉ／Ｆ）１０６は、メディア１０７につなぐためのインタフェースである。メディア１０７は、例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカードまたはＵＳＢメモリである。
エンコーダ部１０５は、ノイズ低減処理が行われたデジタル画像をＪＰＥＧ等の映像圧縮フォーマットに変換する処理を行う。
メディアインタフェース（Ｉ／Ｆ）１０６は、メディア１０７につなぐためのインタフェースである。メディア１０７は、例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカードまたはＵＳＢメモリである。
ＣＰＵ１０８は、デジタルカメラの各構成の処理の全てに関わり、ＲＯＭ１０９やＲＡＭ１１０に格納された命令を順に読み込み、処理を実行する。そして、ＣＰＵ１０８は、システムバス１１５を介して、デジタルカメラの各構成を制御する。ＲＯＭ１０９とＲＡＭ１１０は、ＣＰＵ１０８が実行する処理に必要なプログラム、データ、作業領域等をＣＰＵ１０８に提供する。
撮像系制御部１１１は、フォーカスを合わせる、シャッターを開く、絞りを調節する等の、ＣＰＵ１０８から指示された撮像系の制御を行う。
操作部１１２は、ボタンやモードダイヤル等を有し、これらを介して入力されたユーザ指示を受け取る。ユーザ指示としては、ＩＳＯ感度設定、シャッター速度設定、Ｆ値設定等の撮影設定がある。これらの撮影設定は、ＣＰＵ１０８によって、デジタルカメラの撮影条件に反映されると共に、ＲＡＭ１１０に記憶される。
操作部１１２は、ボタンやモードダイヤル等を有し、これらを介して入力されたユーザ指示を受け取る。ユーザ指示としては、ＩＳＯ感度設定、シャッター速度設定、Ｆ値設定等の撮影設定がある。これらの撮影設定は、ＣＰＵ１０８によって、デジタルカメラの撮影条件に反映されると共に、ＲＡＭ１１０に記憶される。
Ｄ／Ａ変換部１１３は、前記ノイズ低減処理が行われたデジタル画像に対しアナログ変換を行い、その結果を撮像画像データとして出力する。表示部１１４は、Ｄ／Ａ変換部１１３から受け取った撮像画像データの表示を行う。表示部１１４としては、例えば、液晶ディスプレイが用いられる。
＜画像処理部１０４＞
図２は、画像処理部１０４の構成の一例を示すブロック図である。画像処理部１０４の動作の概要の一例を図２に基づいて説明する。本実施形態では、画像処理部１０４が画像処理装置に相当する。
端子２０１から、信号処理部１０３で生成されたデジタル画像が入力される。
ノイズ特性推定部２０２は、ＲＡＭ１１０に記憶された、撮像条件を取得し、取得した撮像条件に基づいてノイズ特性を推定（導出）する。具体的なノイズ特性導出処理については後述する。
図２は、画像処理部１０４の構成の一例を示すブロック図である。画像処理部１０４の動作の概要の一例を図２に基づいて説明する。本実施形態では、画像処理部１０４が画像処理装置に相当する。
端子２０１から、信号処理部１０３で生成されたデジタル画像が入力される。
ノイズ特性推定部２０２は、ＲＡＭ１１０に記憶された、撮像条件を取得し、取得した撮像条件に基づいてノイズ特性を推定（導出）する。具体的なノイズ特性導出処理については後述する。
ノイズ知覚量導出部２０３は、信号処理部１０３で生成されたデジタル画像と、ノイズ特性推定部２０２で生成されたノイズ特性と、に基づいて、撮像画像におけるノイズの知覚されやすさを評価した値であるノイズ知覚量を算出する。具体的なノイズ知覚量導出処理については後述する。
補正フィルタ取得部２０５は、ＲＡＭ１１０に記憶された、撮像部１０１の撮像光学系の光学特性により生じる撮像画像のボケを補正するための補正フィルタを取得する。具体的な補正フィルタ取得処理については後述する。
次に、補正フィルタ制御部２０４は、ノイズ知覚量導出部２０３で算出されたノイズ知覚量に基づいて、補正フィルタ取得部２０５で取得された補正フィルタの補正量を制御し、補正量を制御した後の補正フィルタを補正フィルタ処理部２０６へ送信する。具体的な補正フィルタの補正量制御処理については後述する。
次に、補正フィルタ制御部２０４は、ノイズ知覚量導出部２０３で算出されたノイズ知覚量に基づいて、補正フィルタ取得部２０５で取得された補正フィルタの補正量を制御し、補正量を制御した後の補正フィルタを補正フィルタ処理部２０６へ送信する。具体的な補正フィルタの補正量制御処理については後述する。
補正フィルタ処理部２０６は、補正フィルタ制御部２０４で補正量が制御された後の補正フィルタに基づいて、信号処理部１０３で生成されたデジタル画像に補正フィルタ処理を施す。補正フィルタ処理が施されたデジタル画像は、端子２０８から出力される。ここで、補正フィルタ処理は公知のフィルタ処理でよく、デジタル画像に対してフィルタの畳みこみ処理を行えばよい。
＜ノイズ特性推定部２０２＞
図３は、ノイズ特性推定部２０２の構成の一例を示すブロック図である。ノイズ特性推定部２０２の動作の一例を図３に基づいて説明する。
端子３０１より、信号処理部１０３で生成されたデジタル画像iin(x,y)が入力される。ここで、ｘは水平（横）方向の位置（画素）を示し、ｙは垂直（縦）方向の位置（画素）を示す。デジタル画像iin(x,y)は、例えば、(x,y)で表される位置の輝度値や画素値である。
平均値算出部３０２は、デジタル画像iin(x,y)の（各位置(x,y)における）平均値avginを算出し、ノイズ情報取得部３０４へ送信する。
撮像条件取得部３０３は、デジタル画像iin(x,y)を撮像した際の撮像条件をＲＡＭ１１０から取得する。ここで、撮像条件とは、撮像時の露出に関する条件である。本実施形態では、撮像条件取得部３０３は、撮像条件として、ＩＳＯ感度、レンズの絞り値および露光時間を取得する。
図３は、ノイズ特性推定部２０２の構成の一例を示すブロック図である。ノイズ特性推定部２０２の動作の一例を図３に基づいて説明する。
端子３０１より、信号処理部１０３で生成されたデジタル画像iin(x,y)が入力される。ここで、ｘは水平（横）方向の位置（画素）を示し、ｙは垂直（縦）方向の位置（画素）を示す。デジタル画像iin(x,y)は、例えば、(x,y)で表される位置の輝度値や画素値である。
平均値算出部３０２は、デジタル画像iin(x,y)の（各位置(x,y)における）平均値avginを算出し、ノイズ情報取得部３０４へ送信する。
撮像条件取得部３０３は、デジタル画像iin(x,y)を撮像した際の撮像条件をＲＡＭ１１０から取得する。ここで、撮像条件とは、撮像時の露出に関する条件である。本実施形態では、撮像条件取得部３０３は、撮像条件として、ＩＳＯ感度、レンズの絞り値および露光時間を取得する。
ノイズ特性記憶部３０５は、前記撮像条件と、デジタル画像iin(x,y)の平均値avginと、ノイズの分散σnとの関係を、テーブルまたは関係式として予め記憶する。
ノイズ情報取得部３０４は、撮像条件取得部３０３で取得された撮像条件と、平均値算出部３０２で算出されたデジタル画像iin(x,y)の平均値avginとに対応するノイズの分散σnをノイズ特性記憶部３０５から取得する。そして、端子３０６から、ノイズの分散σnがノイズ特性として出力される。ここで、ノイズ特性は、撮像画像におけるノイズの量を定量的に評価した値であれば、必ずしもノイズの分散σnでなくてもよい。例えば、ＲＭＳ粒状度や、ウィーナスペクトル（Wiener spectrum）等をノイズ特性として採用してもよい。
ノイズ情報取得部３０４は、撮像条件取得部３０３で取得された撮像条件と、平均値算出部３０２で算出されたデジタル画像iin(x,y)の平均値avginとに対応するノイズの分散σnをノイズ特性記憶部３０５から取得する。そして、端子３０６から、ノイズの分散σnがノイズ特性として出力される。ここで、ノイズ特性は、撮像画像におけるノイズの量を定量的に評価した値であれば、必ずしもノイズの分散σnでなくてもよい。例えば、ＲＭＳ粒状度や、ウィーナスペクトル（Wiener spectrum）等をノイズ特性として採用してもよい。
＜ノイズ知覚量導出部２０３＞
図４は、ノイズ知覚量導出部２０３の構成の一例を示すブロック図である。ノイズ知覚量導出部２０３の動作の一例を図４に基づいて説明する。
端子４０１より、信号処理部１０３で生成されたデジタル画像iin(x,y)が入力される。
端子４０２より、ノイズ特性推定部２０２で得られたノイズの分散σnが入力される。
ノイズ画像生成部４０３は、デジタル画像iin(x,y)と同じサイズのホワイトノイズ画像nw(x,y)を、ノイズの分散が端子４０２から入力されたノイズの分散σnとなるように生成する。ここで、ホワイトノイズ画像nw(x,y)は、（x,y）の位置（画素）におけるホワイトノイズの大きさを表す。そして、ノイズ画像生成部４０３は、デジタル画像iin(x,y)とホワイトノイズ画像nw(x,y)とを加算することでノイズ画像n(x,y)を生成する。このように、ノイズ画像生成部４０３は、撮像画像に発生するノイズを示す画像を、疑似的なシミュレーションにより生成する。尚、撮像画像に発生するノイズを示す画像を、疑似的なシミュレーションにより生成できれば、必ずしもホワイトノイズを使用する必要はない。
図４は、ノイズ知覚量導出部２０３の構成の一例を示すブロック図である。ノイズ知覚量導出部２０３の動作の一例を図４に基づいて説明する。
端子４０１より、信号処理部１０３で生成されたデジタル画像iin(x,y)が入力される。
端子４０２より、ノイズ特性推定部２０２で得られたノイズの分散σnが入力される。
ノイズ画像生成部４０３は、デジタル画像iin(x,y)と同じサイズのホワイトノイズ画像nw(x,y)を、ノイズの分散が端子４０２から入力されたノイズの分散σnとなるように生成する。ここで、ホワイトノイズ画像nw(x,y)は、（x,y）の位置（画素）におけるホワイトノイズの大きさを表す。そして、ノイズ画像生成部４０３は、デジタル画像iin(x,y)とホワイトノイズ画像nw(x,y)とを加算することでノイズ画像n(x,y)を生成する。このように、ノイズ画像生成部４０３は、撮像画像に発生するノイズを示す画像を、疑似的なシミュレーションにより生成する。尚、撮像画像に発生するノイズを示す画像を、疑似的なシミュレーションにより生成できれば、必ずしもホワイトノイズを使用する必要はない。
フーリエ変換部４０４は、デジタル画像iin(x,y)とノイズ画像n(x,y)のそれぞれに対してフーリエ変換を施し、デジタル画像iin(x,y)とノイズ画像n(x,y)の空間周波数の情報をそれぞれ生成する。以下では、デジタル画像iin(x,y)をフーリエ変換して空間周波数の関数にした結果を、Iin(u,v）と表記する。また、ノイズ画像n(x,y)をフーリエ変換して空間周波数の関数にした結果を、N(u,v）と表記する。ここで、ｕは水平方向の空間周波数（水平周波数）であり、ｖは垂直方向の空間周波数（垂直周波数）である。
空間視覚特性乗算部４０５は、フーリエ変換後のデジタル画像Iin(u,v）とフーリエ変換後のノイズ画像N(u,v）に対し、空間視覚特性VTF(u,v）をそれぞれ乗算する。空間視覚特性VTF(u,v)は、コントラスト感度と空間周波数との関係を表すものであり、以下の（１）式で定義される。
VTF(u,v)＝VTFx(u)×VTFy(v) ・・・（１）
（１）式において、VTFx(u)は、水平（横）方向の空間視覚特性であり、VTFy（v）は、垂直（縦）方向の空間視覚特性である。これらは、それぞれ以下の（２）式、（３）式で定義される。
VTF(u,v)＝VTFx(u)×VTFy(v) ・・・（１）
（１）式において、VTFx(u)は、水平（横）方向の空間視覚特性であり、VTFy（v）は、垂直（縦）方向の空間視覚特性である。これらは、それぞれ以下の（２）式、（３）式で定義される。
（２）式、（３）式において、ｐは、画素ピッチ（ｍｍ）であり、Ｒは、視距離（ｍｍ）であり、Ｎｘは、画像の水平（横）方向の画素数であり、Ｎｙは、画像の垂直（縦）方向の画素数である。これらの値は、一般的なユーザ観察環境に基づいて定められる。尚、水平（横）方向の空間視覚特性VTFx(u)と、垂直（縦）方向の空間視覚特性VTFy(v)は、以下の（４）式で表される空間視覚特性を、視距離と画素ピッチと画素数とに応じて周波数空間でサンプリングしたものであり、基本形は同じである。
空間視覚特性＝5.05×[１−exp(-0.1×x)]×exp(-0.138×x） ・・・（４）
空間視覚特性＝5.05×[１−exp(-0.1×x)]×exp(-0.138×x） ・・・（４）
図５は、空間視覚特性の一例を模式的に示す図である。以下では、フーリエ変換後のデジタル画像Iin(u,v）に空間視覚特性VTF(u,v）を乗算した結果を、IV(u,v）と表記する。また、フーリエ変換後のノイズ画像N(u,v）に空間視覚特性VTF(u,v）を乗算した結果を、NV(u,v)と表記する。IV(u,v）は、人間の視覚において感度のある空間周波数における撮像画像の信号を表す。NV(u,v）は、人間の視覚において感度のある空間周波数におけるノイズ画像の信号を表す。
帯域分割部４０６は、以下の（５）式で表される、デジタル画像に対する帯域分割周波数情報Isk,l(u,v)と、以下の（６）式で表される、ノイズ画像に対する帯域分割周波数情報Nsk,l(u,v)とを算出する。帯域分割周波数情報Isk,l(u,v)は、フーリエ変換と空間視覚特性の乗算とが行われたデジタル画像IV(u,v)を、複数の空間周波数帯域ごとに分割した情報である。帯域分割周波数情報Nsk,l(u,v)は、フーリエ変換と空間視覚特性の乗算とが行われたノイズ画像NV(u,v)を、複数の空間周波数帯域ごとに分割した情報である。
帯域分割フィルタcortexk,l(u,v)は、空間周波数領域における半径方向の特性と円周方向の特性とを結合することにより得られるものであり、以下の（７）式および（８）式のように定義される。
cortex＿polk,l(ρ,θ)は、帯域分割フィルタcortexk,l(u,v)を極座標で表現したものである。（７）式および（８）式において、Ｋは、空間周波数帯域の半径方向における分割数であり、Ｌは、空間周波数帯域の円周方向における分割数である。一般にはＫ＝６、Ｌ＝６である。また、（７）式に示すfanl(θ)、domk(ρ)、base(ρ)は、以下の（９）式〜（１７）式で定義される。
図６は、Ｌ＝６の場合のfanl(θ)を模式的に示す図である。図６において、横軸は角度であり、縦軸は応答である。図７は、Ｋ＝６の場合のdomk(ρ)を模式的に示す図である。図７において、横軸は正規化周波数であり、縦軸は応答である。
図８は、帯域分割フィルタcortexk,l(u,v)により分割された空間周波数領域を模式的に示す図である。図８において、横軸、縦軸は、ともに正規化周波数である。図８では、各フィルタの半値周波数を、太い実線で示す。
図８は、帯域分割フィルタcortexk,l(u,v)により分割された空間周波数領域を模式的に示す図である。図８において、横軸、縦軸は、ともに正規化周波数である。図８では、各フィルタの半値周波数を、太い実線で示す。
ここでは、人間の視覚は、画像の空間周波数が低周波であるか高周波であるかという区別と、画像の空間周波数の方向（縦方向、横方向、斜め方向）という区別をしているものと考え、これら区別される空間周波数の領域を１つの領域として定義する。この１つの領域が、図８の太線で囲まれている領域に対応する。図８において、デジタル画像とノイズ画像の空間周波数が、同じ領域内にある場合、当該ノイズ画像に基づくノイズは当該デジタル画像上では、人間の視覚により認識しづらくなる。
逆フーリエ変換部４０７は、帯域分割周波数情報Isk,l(u,v)、Nsk,l(u,v)に対して、逆フーリエ変換を施し、複数の空間周波数帯域に分割されたデジタル画像、ノイズ画像を生成する。以下では、デジタル画像に対する帯域分割周波数情報Isk,l(u,v)の逆フーリエ変換の結果として得られる帯域分割画像をisk,l(x,y)と表記する。また、ノイズ画像に対する帯域分割周波数情報Nsk,l(u,v)の逆フーリエ変換の結果として得られる帯域分割画像をnsk,l(x,y)と表記する。各帯域分割画像は、帯域分割フィルタcortexk,l(u,v)により分割される各空間周波数帯域の画像である。
ノイズマスク部（部分ノイズ知覚量算出部）４０８は、デジタル画像の帯域分割画像isk,l(x,y)に基づいて、ノイズ画像の帯域分割画像nsk,l(x,y)に対するマスキングを施す。これにより、知覚されるノイズ画像である知覚ノイズ画像Pk,l(x,y)（部分ノイズ知覚量）が算出される。知覚ノイズ画像Pk,l(x,y)は、空間周波数帯域ごとに算出される。ここでいうマスキングとは、撮像画像にノイズを重畳させることにより、当該ノイズが人間にどのくらい知覚されづらくなるのかを評価することをいう。
ノイズマスク部４０８の具体的な処理の一例を説明すると、まず、ノイズマスク部４０８は、マスキング強度Tek,l(x,y)を、以下の（１８）式〜（２０）式により算出する。
ノイズマスク部４０８の具体的な処理の一例を説明すると、まず、ノイズマスク部４０８は、マスキング強度Tek,l(x,y)を、以下の（１８）式〜（２０）式により算出する。
本実施形態では、（１８）式〜（２０）式において、Ｗ＝６、Ｑ＝０．７、ｂ＝４、ｓ＝０．８とする。図９は、この場合における、マスキング強度Tek,l(x,y)と帯域分割画像isk,l(x,y)との関係の一例を示す図である。図９において、横軸は、帯域分割画像isk,l(x,y)の強度を対数スケールで表したものである。縦軸は、マスキング強度Tek,l(x,y)の強度を対数スケールで表したものである。ノイズマスク部４０８は、このマスキング強度Tek,l(x,y)を用いて、知覚ノイズ画像Pk,l(x,y)を、以下の（２１）式により計算する。
（２１）式において、ｍは、デジタル画像iin(x,y)の平均値である。
ノイズ知覚量算出部４０９は、以下の（２２）式に基づいて、空間周波数帯域ごとの知覚ノイズ画像Pk,l(x,y)を合成し、ノイズ知覚量P(x,y)を算出する。ノイズ知覚量P(x,y)は、端子４１０から出力される。
ノイズ知覚量算出部４０９は、以下の（２２）式に基づいて、空間周波数帯域ごとの知覚ノイズ画像Pk,l(x,y)を合成し、ノイズ知覚量P(x,y)を算出する。ノイズ知覚量P(x,y)は、端子４１０から出力される。
＜補正フィルタ取得部２０５＞
補正フィルタ取得部２０５の動作の一例を説明する。
補正フィルタ取得部２０５は、ＲＡＭ１１０から補正フィルタf(i,j)を取得し、補正フィルタ制御部２０４へ出力する。ＲＡＭ１１０には、撮像部１０１の撮像光学系の光学特性、レンズの絞り値およびズーム位置に応じた補正フィルタf(i,j)の補正係数の関係式、またはテーブルが記憶されている。図１０は、レンズ絞り値と、ズーム位置とに応じた補正フィルタf(i,j)の補正係数を記憶するテーブルの一例を示す図である。
補正フィルタ取得部２０５の動作の一例を説明する。
補正フィルタ取得部２０５は、ＲＡＭ１１０から補正フィルタf(i,j)を取得し、補正フィルタ制御部２０４へ出力する。ＲＡＭ１１０には、撮像部１０１の撮像光学系の光学特性、レンズの絞り値およびズーム位置に応じた補正フィルタf(i,j)の補正係数の関係式、またはテーブルが記憶されている。図１０は、レンズ絞り値と、ズーム位置とに応じた補正フィルタf(i,j)の補正係数を記憶するテーブルの一例を示す図である。
＜補正フィルタ制御部２０４＞
図１１は、補正フィルタ制御部２０４の構成の一例を示すブロック図である。補正フィルタ制御部２０４の動作の一例を図１１に基づいて説明する。
端子１１０１より、ノイズ知覚量導出部２０３で算出されたノイズ知覚量P(x,y)が入力される。
平均値算出部１１０２は、ノイズ知覚量P(x,y)の（各位置(x,y)における）平均値avgpを算出する。
ゲイン算出部１１０３は、ノイズ知覚量P(x,y)の平均値avgpに基づいて補正フィルタf(i,j)に乗算するゲインｇを算出する。ここで、ゲインｇは、以下の（２３）式により算出される。ただし、ゲインｇの算出方法は、以下の（２３）式に限定されない。
ｇ＝ｋ×avgp ・・・（２３）
図１１は、補正フィルタ制御部２０４の構成の一例を示すブロック図である。補正フィルタ制御部２０４の動作の一例を図１１に基づいて説明する。
端子１１０１より、ノイズ知覚量導出部２０３で算出されたノイズ知覚量P(x,y)が入力される。
平均値算出部１１０２は、ノイズ知覚量P(x,y)の（各位置(x,y)における）平均値avgpを算出する。
ゲイン算出部１１０３は、ノイズ知覚量P(x,y)の平均値avgpに基づいて補正フィルタf(i,j)に乗算するゲインｇを算出する。ここで、ゲインｇは、以下の（２３）式により算出される。ただし、ゲインｇの算出方法は、以下の（２３）式に限定されない。
ｇ＝ｋ×avgp ・・・（２３）
（２３）式において、ｋは、ノイズ知覚量P(x,y)の平均値avgpが大きいときにゲインｇが小さくなり、当該平均値avgpが小さいときにゲインｇが大きくなるようにするための一次式である。これにより、ノイズ知覚量P(x,y)が大きいときに補正フィルタf(i,j)に対するゲインを小さくし、ノイズ知覚量P(x,y)が小さいときに補正フィルタf(i,j)に対するゲインを大きくすることができる。
端子１１０４より、補正フィルタ取得部２０５より取得された補正フィルタf(i,j)を入力する。
乗算部１１０５は、ゲイン算出部１１０３で算出されたゲインｇと、補正フィルタ取得部２０５より取得された補正フィルタf(i,j)と、を用いて、以下の（２４）式から、補正量を制御した後の補正フィルタfg(i,j)を算出する。
fg(i,j)＝ｇ×f(i,j) ・・・（２４）
端子１１０４より、補正フィルタ取得部２０５より取得された補正フィルタf(i,j)を入力する。
乗算部１１０５は、ゲイン算出部１１０３で算出されたゲインｇと、補正フィルタ取得部２０５より取得された補正フィルタf(i,j)と、を用いて、以下の（２４）式から、補正量を制御した後の補正フィルタfg(i,j)を算出する。
fg(i,j)＝ｇ×f(i,j) ・・・（２４）
そして、端子１１０６より、補正量を制御した後の補正フィルタfg(i,j)が出力される。
以上のように本実施形態では、撮像時の露出の条件に基づいてノイズの分散σnを導出し、ノイズの分散σnに応じたノイズを撮像画像に重畳させたノイズ画像を生成する。撮像画像とノイズ画像のそれぞれから、人間の視覚において感度のある空間周波数の情報を抽出して複数の空間周波数帯域ごとに分割する。複数の空間周波数帯域ごとに分割されたノイズ画像を、複数の空間周波数帯域ごとに分割された撮像画像に基づいてマスキングした後に合成してノイズ知覚量P(x,y)を算出する。このノイズ知覚量P(x,y)に基づいて撮像画像のボケを補正するための補正フィルタの補正量を決定する。したがって、ボケを補正することにより生じる弊害であるノイズの強調を抑えつつ、鮮鋭感の改善効果が得られる画像処理を実現することができる。よって、撮像画像からノイズが知覚されないように、撮像画像に生じるボケを低減することができる。
以上のように本実施形態では、撮像時の露出の条件に基づいてノイズの分散σnを導出し、ノイズの分散σnに応じたノイズを撮像画像に重畳させたノイズ画像を生成する。撮像画像とノイズ画像のそれぞれから、人間の視覚において感度のある空間周波数の情報を抽出して複数の空間周波数帯域ごとに分割する。複数の空間周波数帯域ごとに分割されたノイズ画像を、複数の空間周波数帯域ごとに分割された撮像画像に基づいてマスキングした後に合成してノイズ知覚量P(x,y)を算出する。このノイズ知覚量P(x,y)に基づいて撮像画像のボケを補正するための補正フィルタの補正量を決定する。したがって、ボケを補正することにより生じる弊害であるノイズの強調を抑えつつ、鮮鋭感の改善効果が得られる画像処理を実現することができる。よって、撮像画像からノイズが知覚されないように、撮像画像に生じるボケを低減することができる。
（第２の実施形態）
次に、第２の実施形態について説明する。第１の実施形態では、入力された画像全体のノイズ知覚量P(x,y)を算出し、入力された画像全体に一様な補正フィルタを施す場合を例に挙げて説明した。しかし、このようにすると、レンズの収差によって撮像画像に生じるボケは一様ではなく、撮像画像の位置に応じて、レンズの非線形な歪みとその影響によるノイズが発生する虞がある。そこで、本実施形態では、撮像画像の領域ごとに形状が異なる補正フィルタを取得し、さらにノイズ知覚量を撮像画像の領域ごとに算出する。このようにすることで、より一層ノイズが知覚されにくく、且つ、鮮鋭感をより一層向上させた画像を形成することができる。
このように本実施形態と第１の実施形態とは、ノイズ知覚量を撮像画像の領域ごとに算出することと、補正フィルタの形状が撮像画像の領域ごとに異なることに基づく処理と構成が主として異なる。したがって、本実施形態の説明において、第１の実施形態と同一の部分については、図１〜図１１に付した符号と同一の符号を付す等して詳細な説明を省略する。
次に、第２の実施形態について説明する。第１の実施形態では、入力された画像全体のノイズ知覚量P(x,y)を算出し、入力された画像全体に一様な補正フィルタを施す場合を例に挙げて説明した。しかし、このようにすると、レンズの収差によって撮像画像に生じるボケは一様ではなく、撮像画像の位置に応じて、レンズの非線形な歪みとその影響によるノイズが発生する虞がある。そこで、本実施形態では、撮像画像の領域ごとに形状が異なる補正フィルタを取得し、さらにノイズ知覚量を撮像画像の領域ごとに算出する。このようにすることで、より一層ノイズが知覚されにくく、且つ、鮮鋭感をより一層向上させた画像を形成することができる。
このように本実施形態と第１の実施形態とは、ノイズ知覚量を撮像画像の領域ごとに算出することと、補正フィルタの形状が撮像画像の領域ごとに異なることに基づく処理と構成が主として異なる。したがって、本実施形態の説明において、第１の実施形態と同一の部分については、図１〜図１１に付した符号と同一の符号を付す等して詳細な説明を省略する。
＜画像処理部１２００＞
図１２は、画像処理部１２００の構成の一例を示すブロック図である。画像処理部１２００の動作の一例を図１２に基づいて説明する。図１２に示す画像処理部１２００は、図２に示した画像処理部１０４に対して置き換わるものである。
端子１２０１には、信号処理部１０３で生成されたデジタル画像が入力される。
領域分割部１２０２は、デジタル画像iin(x,y)をＭ×Ｎ個の矩形領域に分割する。ただし、デジタル画像iin(x,y)を分割する方法はこれに限定されない。ここで、デジタル画像iin(x,y)の左上から右下に向かって矩形領域のインデックスを割り振る。以下では、ｍ行ｎ列目の矩形領域をim,nと表記する。領域分割部１２０２は、デジタル画像iin(x,y)のうち、割り振ったインデックスに対応する矩形領域im,nの部分をインデックスの順に出力する。
図１２は、画像処理部１２００の構成の一例を示すブロック図である。画像処理部１２００の動作の一例を図１２に基づいて説明する。図１２に示す画像処理部１２００は、図２に示した画像処理部１０４に対して置き換わるものである。
端子１２０１には、信号処理部１０３で生成されたデジタル画像が入力される。
領域分割部１２０２は、デジタル画像iin(x,y)をＭ×Ｎ個の矩形領域に分割する。ただし、デジタル画像iin(x,y)を分割する方法はこれに限定されない。ここで、デジタル画像iin(x,y)の左上から右下に向かって矩形領域のインデックスを割り振る。以下では、ｍ行ｎ列目の矩形領域をim,nと表記する。領域分割部１２０２は、デジタル画像iin(x,y)のうち、割り振ったインデックスに対応する矩形領域im,nの部分をインデックスの順に出力する。
ノイズ特性推定部１２０３、ノイズ知覚量導出部１２０４の動作は、それぞれ、図２に示したノイズ特性推定部２０２、ノイズ知覚量導出部２０３の動作と同じである。ただし、ノイズ特性推定部１２０３、ノイズ知覚量導出部１２０４は、デジタル画像iin(x,y)の全てではなく、領域分割部１２０２で分割された矩形領域im,nの単位で処理を行う。
補正フィルタ取得部１２０６は、領域分割部１２０２で分割された矩形領域im,nの位置に応じた補正フィルタをＲＡＭ１１０から取得する。具体的な補正フィルタの取得処理については後述する。
補正フィルタ取得部１２０６は、領域分割部１２０２で分割された矩形領域im,nの位置に応じた補正フィルタをＲＡＭ１１０から取得する。具体的な補正フィルタの取得処理については後述する。
補正フィルタ制御部１２０５は、ノイズ知覚量導出部１２０４で算出されたノイズ知覚量に基づいて、補正フィルタ取得部１２０６で取得された補正フィルタの補正量を制御し、補正量を制御した後の補正フィルタを補正フィルタ処理部１２０７へ送信する。具体的補正フィルタの補正量の制御処理については後述する。
補正フィルタ処理部１２０７は、補正フィルタ制御部１２０５で補正量が制御された後の補正フィルタに基づいて、領域分割部１２０２から出力された矩形領域im,n単位のデジタル画像iin(x,y)に補正フィルタ処理を施す。
領域合成部１２０８は、矩形領域im,nをインデックス順に並べて合成し、出力画像ioutを出力する。そして、端子１２０９から、出力画像ioutが出力される。
補正フィルタ処理部１２０７は、補正フィルタ制御部１２０５で補正量が制御された後の補正フィルタに基づいて、領域分割部１２０２から出力された矩形領域im,n単位のデジタル画像iin(x,y)に補正フィルタ処理を施す。
領域合成部１２０８は、矩形領域im,nをインデックス順に並べて合成し、出力画像ioutを出力する。そして、端子１２０９から、出力画像ioutが出力される。
＜補正フィルタ取得部１２０６＞
補正フィルタ取得部１２０６の動作の一例を説明する。
補正フィルタ取得部１２０６は、ＲＡＭ１１０から補正フィルタf(i,j)を取得し、補正フィルタ制御部１２０５へ出力する。ＲＡＭ１１０には、撮像部１０１の撮像光学系の光学特性、レンズの絞り値、ズーム位置および矩形領域im,nの座標に応じた補正フィルタの補正係数の関係式、またはテーブルが記憶されている。図１３は、レンズ絞り値と、ズーム位置と、矩形領域im,nの座標と、に応じた補正フィルタf(i,j)の補正係数を記憶するテーブルの一例を示す図である。ここで、矩形領域im,nの座標とは、領域分割部１２０２で、撮像画像を分割した際に矩形領域ごとに振ったインデックスを示す。
補正フィルタ取得部１２０６の動作の一例を説明する。
補正フィルタ取得部１２０６は、ＲＡＭ１１０から補正フィルタf(i,j)を取得し、補正フィルタ制御部１２０５へ出力する。ＲＡＭ１１０には、撮像部１０１の撮像光学系の光学特性、レンズの絞り値、ズーム位置および矩形領域im,nの座標に応じた補正フィルタの補正係数の関係式、またはテーブルが記憶されている。図１３は、レンズ絞り値と、ズーム位置と、矩形領域im,nの座標と、に応じた補正フィルタf(i,j)の補正係数を記憶するテーブルの一例を示す図である。ここで、矩形領域im,nの座標とは、領域分割部１２０２で、撮像画像を分割した際に矩形領域ごとに振ったインデックスを示す。
＜補正フィルタ制御部１２０５＞
図１４は、補正フィルタ制御部１２０５の構成の一例を示すブロック図である。補正フィルタ制御部１２０５の動作の一例を図１４に基づいて説明する。図１４に示す補正フィルタ制御部１２０５は、図１１に示した補正フィルタ制御部２０４に対して置き換わるものである。
端子１４０１より、ノイズ知覚量導出部１２０４で算出された、矩形領域im,nにおけるノイズ知覚量P(x,y)が入力される。
平均値算出部１４０２は、矩形領域im,nにおけるノイズ知覚量P(x,y)の（各位置(x,y)における）平均値avgm,nを算出する。
ゲイン算出部１４０３は、矩形領域im,nにおけるノイズ知覚量P(x,y)の平均値avgm,nに基づいて補正フィルタf(i,j)に乗算するゲインｇを算出する。ここで、ゲインｇは、以下の（２５）式により算出される。ただし、ゲインｇの算出方法は、以下の（２５）式に限定されない。
ｇ＝ｋ×avgm,n ・・・（２５）
図１４は、補正フィルタ制御部１２０５の構成の一例を示すブロック図である。補正フィルタ制御部１２０５の動作の一例を図１４に基づいて説明する。図１４に示す補正フィルタ制御部１２０５は、図１１に示した補正フィルタ制御部２０４に対して置き換わるものである。
端子１４０１より、ノイズ知覚量導出部１２０４で算出された、矩形領域im,nにおけるノイズ知覚量P(x,y)が入力される。
平均値算出部１４０２は、矩形領域im,nにおけるノイズ知覚量P(x,y)の（各位置(x,y)における）平均値avgm,nを算出する。
ゲイン算出部１４０３は、矩形領域im,nにおけるノイズ知覚量P(x,y)の平均値avgm,nに基づいて補正フィルタf(i,j)に乗算するゲインｇを算出する。ここで、ゲインｇは、以下の（２５）式により算出される。ただし、ゲインｇの算出方法は、以下の（２５）式に限定されない。
ｇ＝ｋ×avgm,n ・・・（２５）
（２５）式において、ｋは、矩形領域im,nにおけるノイズ知覚量P(x,y)の平均値avgm,nが大きいときにゲインｇが小さくなり、当該平均値avgm,nが小さいときにゲインｇが大きくなるようにするための一次式である。
端子１４０４より、補正フィルタ取得部１２０６より取得された補正フィルタf(i,j)を入力する。
フィルタ参照部１４０５は、現在処理している矩形領域im,nのインデックスの情報を補正フィルタ取得部１２０６へ送信し、インデックスと、撮像部１０１の撮像光学系に基づいた補正フィルタf(i,j)を取得する。
端子１４０４より、補正フィルタ取得部１２０６より取得された補正フィルタf(i,j)を入力する。
フィルタ参照部１４０５は、現在処理している矩形領域im,nのインデックスの情報を補正フィルタ取得部１２０６へ送信し、インデックスと、撮像部１０１の撮像光学系に基づいた補正フィルタf(i,j)を取得する。
乗算部１４０６は、ゲイン算出部１４０３で算出されたゲインｇと、フィルタ参照部１４０５で取得された補正フィルタf(i,j)とを用いて、補正量を制御した後の補正フィルタfg(i,j)を算出する。補正量を制御した後の補正フィルタの算出は、例えば、前述した（２４）式に基づいて行うことができる。
そして、端子１４０７より、補正量が制御された後の補正フィルタfg(i,j)が出力される。
そして、端子１４０７より、補正量が制御された後の補正フィルタfg(i,j)が出力される。
以上のように本実施形態では、撮像画像の矩形領域ごとにノイズ知覚量P(x,y)を算出し、当該矩形領域ごとに、撮像画像のボケを補正するための補正量を決定する。したがって、撮像画像の位置に応じて異なるレンズの収差を補正し、さらにボケを補正することにより生じる弊害であるノイズを抑制する画像処理を実現することができる。
（第３の実施形態）
次に、第３の実施形態について説明する。第１、第２の実施形態では、ノイズ知覚量P(x,y)に応じて補正フィルタf(i,j)のゲインｇを制御することでノイズが知覚されにくくなるように、撮像画像を補正する場合を例に挙げて説明した。この手法では、ボケを補正した後の画像のノイズ知覚量が、目標とするノイズ知覚量に近づいているかが分からない。そこで、本実施形態では、ボケを補正した後の画像のノイズ知覚量が、目標とするノイズ知覚量に近づくように、複数の補正フィルタの中から補正フィルタを選択し、合成する。このように本実施形態と第１、第２の実施形態とは、ボケの補正後の画像のノイズ知覚量がノイズ知覚量の目標値に近づくように補正フィルタを選択するための処理と構成が主として異なる。したがって、本実施形態の説明において、第１、第２の実施形態と同一の部分については、図１〜図１４に付した符号と同一の符号を付す等して詳細な説明を省略する。
次に、第３の実施形態について説明する。第１、第２の実施形態では、ノイズ知覚量P(x,y)に応じて補正フィルタf(i,j)のゲインｇを制御することでノイズが知覚されにくくなるように、撮像画像を補正する場合を例に挙げて説明した。この手法では、ボケを補正した後の画像のノイズ知覚量が、目標とするノイズ知覚量に近づいているかが分からない。そこで、本実施形態では、ボケを補正した後の画像のノイズ知覚量が、目標とするノイズ知覚量に近づくように、複数の補正フィルタの中から補正フィルタを選択し、合成する。このように本実施形態と第１、第２の実施形態とは、ボケの補正後の画像のノイズ知覚量がノイズ知覚量の目標値に近づくように補正フィルタを選択するための処理と構成が主として異なる。したがって、本実施形態の説明において、第１、第２の実施形態と同一の部分については、図１〜図１４に付した符号と同一の符号を付す等して詳細な説明を省略する。
＜画像処理部１５００＞
図１５は、画像処理部１５００の構成の一例を示すブロック図である。画像処理部１５００の動作の一例を図１５に基づいて説明する。図１５に示す画像処理部１５００は、図２、図１２に示した画像処理部１０４、１２００に対して置き換わるものである。
端子１５０１には、信号処理部１０３で生成されたデジタル画像が入力される。
領域分割部１５０２は、第２の実施形態の領域分割部１２０２と同じである。領域分割部１５０２は、デジタル画像iin(x,y)のうち、矩形領域im,nの画像を、矩形領域im,nに対するインデックスの順に出力する。
図１５は、画像処理部１５００の構成の一例を示すブロック図である。画像処理部１５００の動作の一例を図１５に基づいて説明する。図１５に示す画像処理部１５００は、図２、図１２に示した画像処理部１０４、１２００に対して置き換わるものである。
端子１５０１には、信号処理部１０３で生成されたデジタル画像が入力される。
領域分割部１５０２は、第２の実施形態の領域分割部１２０２と同じである。領域分割部１５０２は、デジタル画像iin(x,y)のうち、矩形領域im,nの画像を、矩形領域im,nに対するインデックスの順に出力する。
補正フィルタ取得部１５０３は、領域分割部１５０２で分割された矩形領域im,nの位置に応じた、形状の異なる複数の補正フィルタをＲＡＭ１１０から取得する。
ノイズ特性推定部１５０５は、第２の実施形態のノイズ特性推定部１２０３と同じである。ノイズ特性推定部１５０５は、領域分割部１２０２で分割された矩形領域im,nの単位で、ノイズ特性を推定（例えばノイズの分散σnを算出）する。
ノイズ知覚量導出部１５０６は、ノイズ特性推定部１５０５から取得したノイズ特性と、補正フィルタ取得部１５０３から取得した補正フィルタと、に基づいて、フィルタ処理後のノイズ知覚量を算出する。具体的なノイズ知覚量算出処理については後述する。
ノイズ特性推定部１５０５は、第２の実施形態のノイズ特性推定部１２０３と同じである。ノイズ特性推定部１５０５は、領域分割部１２０２で分割された矩形領域im,nの単位で、ノイズ特性を推定（例えばノイズの分散σnを算出）する。
ノイズ知覚量導出部１５０６は、ノイズ特性推定部１５０５から取得したノイズ特性と、補正フィルタ取得部１５０３から取得した補正フィルタと、に基づいて、フィルタ処理後のノイズ知覚量を算出する。具体的なノイズ知覚量算出処理については後述する。
補正フィルタ選択部１５０４は、補正フィルタ取得部１５０３で取得した補正フィルタのうち、目標とするノイズ知覚量に近いノイズ知覚量に対応する補正フィルタを一種以上選択する。具体的な選択処理については後述する。
補正フィルタ処理部１５０７は、補正フィルタ選択部１５０４で選択された補正フィルタを用いて、領域分割部１５０２から得られる、矩形領域im,nのデジタル画像に対して、各種の補正フィルタ処理を施し、補正フィルタの数分のデジタル画像を得る。ここで、補正フィルタ処理は公知のフィルタ処理でよく、デジタル画像に対してフィルタの畳みこみ処理を行えばよい。
補正フィルタ処理部１５０７は、補正フィルタ選択部１５０４で選択された補正フィルタを用いて、領域分割部１５０２から得られる、矩形領域im,nのデジタル画像に対して、各種の補正フィルタ処理を施し、補正フィルタの数分のデジタル画像を得る。ここで、補正フィルタ処理は公知のフィルタ処理でよく、デジタル画像に対してフィルタの畳みこみ処理を行えばよい。
画像合成部１５０８は、補正フィルタ処理部１５０７で得られたデジタル画像に対して、ノイズ知覚量に基づいて、重み付け加算を行う。具体的な重みづけ加算処理については後述する。
領域合成部１５０９は、矩形領域im,nをインデックス順に並べて合成し、出力画像ioutを出力する。そして、端子１５１０から、出力画像ioutが出力される。
領域合成部１５０９は、矩形領域im,nをインデックス順に並べて合成し、出力画像ioutを出力する。そして、端子１５１０から、出力画像ioutが出力される。
＜ノイズ知覚量導出部１５０６＞
図１６は、ノイズ知覚量導出部１５０６の構成の一例を示すブロック図である。ノイズ知覚量導出部１５０６の動作を図１６に基づいて説明する。
端子１６０１より、領域分割部１５０２で得られた、各インデックスに対応する矩形領域im,nのデジタル画像iin(x,y)が入力される。
端子１６０２より、ノイズ特性推定部１５０５で得られたノイズの分散σnが入力される。
端子１６０３より、補正フィルタ選択部１５０４から出力された補正フィルタf(i,j)が入力される。
図１６は、ノイズ知覚量導出部１５０６の構成の一例を示すブロック図である。ノイズ知覚量導出部１５０６の動作を図１６に基づいて説明する。
端子１６０１より、領域分割部１５０２で得られた、各インデックスに対応する矩形領域im,nのデジタル画像iin(x,y)が入力される。
端子１６０２より、ノイズ特性推定部１５０５で得られたノイズの分散σnが入力される。
端子１６０３より、補正フィルタ選択部１５０４から出力された補正フィルタf(i,j)が入力される。
ノイズ画像生成部１６０４は、矩形領域im,nのデジタル画像iin(x,y)と同じサイズのホワイトノイズ画像nw(x,y)を、ノイズの分散がσnとなるように生成する。次に、ノイズ画像生成部１６０４は、ホワイトノイズ画像nw(x,y)に、補正フィルタf(i,j)を畳み込む。次に、ノイズ画像生成部１６０４は、補正フィルタf(i,j)を畳み込んだホワイトノイズ画像nw(x,y)に、デジタル画像iin(x,y)を加算することでノイズ画像n(x,y)を生成する。ノイズ画像n(x,y)は、以下の（２６）式から算出される。
（２６）式において、Ｉ，Ｊは、補正フィルタf(i,j)の水平（横）、垂直（縦）方向の最大タップ数である。
フーリエ変換部４０４は、矩形領域im,nのデジタル画像iin(x,y)に対してフーリエ変換を施す。これにより、矩形領域im,nのデジタル画像iin(x,y)の空間周波数情報（フーリエ変換後の矩形領域im,nのデジタル画像Iin(u,v）)が生成される。また、フーリエ変換部４０４は、矩形領域im,nのノイズ画像n(x,y)に対してフーリエ変換を施す。これにより、矩形領域im,nのノイズ画像n(x,y)の空間周波数情報（フーリエ変換後の矩形領域im,nのノイズ画像N(u,v）)が生成される。
フーリエ変換部４０４は、矩形領域im,nのデジタル画像iin(x,y)に対してフーリエ変換を施す。これにより、矩形領域im,nのデジタル画像iin(x,y)の空間周波数情報（フーリエ変換後の矩形領域im,nのデジタル画像Iin(u,v）)が生成される。また、フーリエ変換部４０４は、矩形領域im,nのノイズ画像n(x,y)に対してフーリエ変換を施す。これにより、矩形領域im,nのノイズ画像n(x,y)の空間周波数情報（フーリエ変換後の矩形領域im,nのノイズ画像N(u,v）)が生成される。
空間視覚特性乗算部４０５は、フ―リ変換後の矩形領域im,nのデジタル画像Iin(u,v）とフーリエ変換後の矩形領域im,nのノイズ画像N(u,v）に対し、空間視覚特性VTF(u,v)をそれぞれ乗算する。
帯域分割部４０６は、フーリエ変換と空間視覚特性の乗算とが行われた矩形領域im,nのデジタル画像IV(u,v)に対し、帯域分割フィルタcortexk,l(u,v)を用いて帯域分割を施す。これにより、矩形領域im,nの帯域分割周波数情報Isk,l(u,v)が生成される。また、帯域分割部４０６は、フーリエ変換と空間視覚特性の乗算とが行われた矩形領域im,nのノイズ画像NV(u,v)に対し、帯域分割フィルタcortexk,l(u,v)を用いて帯域分割を施す。これにより、矩形領域im,nの帯域分割周波数情報Nsk,l(u,v)が生成される。
帯域分割部４０６は、フーリエ変換と空間視覚特性の乗算とが行われた矩形領域im,nのデジタル画像IV(u,v)に対し、帯域分割フィルタcortexk,l(u,v)を用いて帯域分割を施す。これにより、矩形領域im,nの帯域分割周波数情報Isk,l(u,v)が生成される。また、帯域分割部４０６は、フーリエ変換と空間視覚特性の乗算とが行われた矩形領域im,nのノイズ画像NV(u,v)に対し、帯域分割フィルタcortexk,l(u,v)を用いて帯域分割を施す。これにより、矩形領域im,nの帯域分割周波数情報Nsk,l(u,v)が生成される。
逆フーリエ変換部４０７は、矩形領域im,nの帯域分割周波数情報Isk,l(u,v)、Nsk,l(u,v)に対して、逆フーリエ変換を施す。これにより、複数の空間周波数帯域に分割された帯域分割画像isk,l(x,y)、ノイズ画像sk,l(x,y)が生成される。
ノイズマスク部４０８は、帯域分割画像isk,l(x,y)に基づいて、帯域分割画像nsk,l(x,y)に対するマスキングを施すことによって、知覚ノイズ画像Pk,l(x,y)を、空間周波数帯域ごとに算出する。
ノイズ知覚量算出部４０９は、空間周波数帯域ごとの知覚ノイズ画像Pk,l(x,y)を合成し、ノイズ知覚量P(x,y)を算出する。ノイズ知覚量P(x,y)は、端子１６１１から出力される。
ノイズマスク部４０８は、帯域分割画像isk,l(x,y)に基づいて、帯域分割画像nsk,l(x,y)に対するマスキングを施すことによって、知覚ノイズ画像Pk,l(x,y)を、空間周波数帯域ごとに算出する。
ノイズ知覚量算出部４０９は、空間周波数帯域ごとの知覚ノイズ画像Pk,l(x,y)を合成し、ノイズ知覚量P(x,y)を算出する。ノイズ知覚量P(x,y)は、端子１６１１から出力される。
＜補正フィルタ選択部１５０４＞
図１７は、補正フィルタ選択部１５０４の構成の一例を示すブロック図である。補正フィルタ選択部１５０４の動作の一例を図１７に基づいて説明する。
端子１７０１より、領域分割部１５０２で得られた、各インデックスに対応する矩形領域im,nのデジタル画像im,j(x,y)が入力される。
端子１７０２より、補正フィルタ取得部１５０３で取得された補正フィルタf(i,j)が入力される。
図１７は、補正フィルタ選択部１５０４の構成の一例を示すブロック図である。補正フィルタ選択部１５０４の動作の一例を図１７に基づいて説明する。
端子１７０１より、領域分割部１５０２で得られた、各インデックスに対応する矩形領域im,nのデジタル画像im,j(x,y)が入力される。
端子１７０２より、補正フィルタ取得部１５０３で取得された補正フィルタf(i,j)が入力される。
補正フィルタ参照部１７０３は、矩形領域im,nのデジタル画像im,j(x,y)に対応した補正フィルタf(i,j)を補正フィルタ取得部１５０３から複数個取得する。
端子１７０４より、矩形領域im,nのデジタル画像im,j(x,y)と、当該矩形領域im,nに対応する補正フィルタf(i,j)とに応じたノイズ知覚量P(x,y)が入力される。
ノイズ知覚量参照部１７０５は、矩形領域im,nのデジタル画像im,j(x,y)と、当該矩形領域im,nに対応する補正フィルタf(i,j)と、を順に端子１７０４を介してノイズ知覚量導出部１５０６に出力する。そして、ノイズ知覚量参照部１７０５は、端子１７０４を介してノイズ知覚量導出部１５０６から、補正フィルタf(i,j)ごとのノイズ知覚量P(x,y)を取得する。例えば、補正フィルタf(i,j)が３種あった場合、ノイズ知覚量参照部１７０５は、第１のノイズ知覚量P1(x,y)、第２のノイズ知覚量P2(x,y)および第３のノイズ知覚量P3(x,y)を取得する。
端子１７０４より、矩形領域im,nのデジタル画像im,j(x,y)と、当該矩形領域im,nに対応する補正フィルタf(i,j)とに応じたノイズ知覚量P(x,y)が入力される。
ノイズ知覚量参照部１７０５は、矩形領域im,nのデジタル画像im,j(x,y)と、当該矩形領域im,nに対応する補正フィルタf(i,j)と、を順に端子１７０４を介してノイズ知覚量導出部１５０６に出力する。そして、ノイズ知覚量参照部１７０５は、端子１７０４を介してノイズ知覚量導出部１５０６から、補正フィルタf(i,j)ごとのノイズ知覚量P(x,y)を取得する。例えば、補正フィルタf(i,j)が３種あった場合、ノイズ知覚量参照部１７０５は、第１のノイズ知覚量P1(x,y)、第２のノイズ知覚量P2(x,y)および第３のノイズ知覚量P3(x,y)を取得する。
目標ノイズ知覚量記憶部１７０６は、本実施形態の画像処理部１５００が目標とするノイズ知覚量である目標ノイズ知覚量Ｐｄを記憶する。
補正フィルタ選択部１７０７は、ノイズ知覚量参照部１７０５から得たノイズ知覚量のうち、目標ノイズ知覚量Ｐｄに近いノイズ知覚量に対応する補正フィルタを選択する。補正フィルタの選択は、例えば、以下のようにして行われる。
まず、補正フィルタ選択部１７０７は、ノイズ知覚量参照部１７０５から得たノイズ知覚量の（各位置(x,y)における）平均値avgpnを算出する。前述した例では、算出対象の位置(x,y)における第１のノイズ知覚量P1(x,y)、第２のノイズ知覚量P2(x,y)、および第３のノイズ知覚量P3(x,y)の平均値avgpnがそれぞれ算出される。
補正フィルタ選択部１７０７は、ノイズ知覚量参照部１７０５から得たノイズ知覚量のうち、目標ノイズ知覚量Ｐｄに近いノイズ知覚量に対応する補正フィルタを選択する。補正フィルタの選択は、例えば、以下のようにして行われる。
まず、補正フィルタ選択部１７０７は、ノイズ知覚量参照部１７０５から得たノイズ知覚量の（各位置(x,y)における）平均値avgpnを算出する。前述した例では、算出対象の位置(x,y)における第１のノイズ知覚量P1(x,y)、第２のノイズ知覚量P2(x,y)、および第３のノイズ知覚量P3(x,y)の平均値avgpnがそれぞれ算出される。
そして、補正フィルタ選択部１７０７は、算出したノイズ知覚量の平均値avgpnと、目標ノイズ知覚量Ｐｄとを比較する。この比較の結果、目標ノイズ知覚量Ｐｄが最も小さい場合、補正フィルタ選択部１７０７は、ノイズ知覚量の平均値avgpnが最も小さい値のノイズ知覚量に対応する補正フィルタを選択する。また、目標ノイズ知覚量Ｐｄが最も大きい場合、補正フィルタ選択部１７０７は、ノイズ知覚量の平均値avgpnが最も大きい値のノイズ知覚量に対応する補正フィルタを選択する。また、目標ノイズ知覚量Ｐｄが最大でも最小でもない場合、補正フィルタ選択部１７０７は、ノイズ知覚量の平均値avgpnが目標ノイズ知覚量Ｐｄに近いノイズ知覚量に対応する補正フィルタを２種類選択する。
そして、補正フィルタ選択部１７０７は、選択した補正フィルタと、目標ノイズ知覚量Ｐｄと、当該補正フィルタに対応するノイズ知覚量と、を、端子１７０８を介して、補正フィルタ処理部１５０７へ出力する。
補正フィルタ処理部１５０７は、補正フィルタ選択部１７０７で２種類の補正フィルタが選択された場合、当該補正フィルタのそれぞれを用いて、矩形領域im,n単位のデジタル画像iin(x,y)に補正フィルタ処理を施す。以下では、このようにして補正フィルタ処理部１５０７により補正フィルタ処理が施されたデジタル画像を、第１の補正後のデジタル画像、第２の補正後のデジタル画像と表記する。また、第１の補正後のデジタル画像、第２の補正後のデジタル画像に対応するノイズ知覚量の平均値avgpnを、それぞれavgp1、avgp2と表記する。
補正フィルタ処理部１５０７は、補正フィルタ選択部１７０７で２種類の補正フィルタが選択された場合、当該補正フィルタのそれぞれを用いて、矩形領域im,n単位のデジタル画像iin(x,y)に補正フィルタ処理を施す。以下では、このようにして補正フィルタ処理部１５０７により補正フィルタ処理が施されたデジタル画像を、第１の補正後のデジタル画像、第２の補正後のデジタル画像と表記する。また、第１の補正後のデジタル画像、第２の補正後のデジタル画像に対応するノイズ知覚量の平均値avgpnを、それぞれavgp1、avgp2と表記する。
＜画像合成部１５０８＞
図１８は、画像合成部１５０８の構成の一例を示すブロック図である。画像合成部１５０８の動作の一例を図１８に基づいて説明する。
端子１８０１より、目標ノイズ知覚量Ｐｄが入力される。
端子１８０２より、補正フィルタ処理部１５０７で得られた第１の補正後のデジタル画像に対応するノイズ知覚量の平均値avgp1を入力する。
端子１８０３より、補正フィルタ処理部１５０７で得られた第２の補正後のデジタル画像に対応するノイズ知覚量の平均値avgp2を入力する。
係数算出部１８０４は、目標ノイズ知覚量Ｐｄと、ノイズ知覚量の平均値avgp1、avgp2とに基づいて、以下の（２７）式により、係数ｃ１を算出する。
図１８は、画像合成部１５０８の構成の一例を示すブロック図である。画像合成部１５０８の動作の一例を図１８に基づいて説明する。
端子１８０１より、目標ノイズ知覚量Ｐｄが入力される。
端子１８０２より、補正フィルタ処理部１５０７で得られた第１の補正後のデジタル画像に対応するノイズ知覚量の平均値avgp1を入力する。
端子１８０３より、補正フィルタ処理部１５０７で得られた第２の補正後のデジタル画像に対応するノイズ知覚量の平均値avgp2を入力する。
係数算出部１８０４は、目標ノイズ知覚量Ｐｄと、ノイズ知覚量の平均値avgp1、avgp2とに基づいて、以下の（２７）式により、係数ｃ１を算出する。
ただし、（２７）式では、以下の（２８）式、（２９）式の条件が成立する場合を例に挙げて示す。
avgp2＞avgp1 ・・・（２８）
avgp1＜ｐｄ＜avgp2 ・・・（２９）
端子１８０５より、補正フィルタ処理部１５０７で得られた第１の補正後のデジタル画像を入力する。
avgp2＞avgp1 ・・・（２８）
avgp1＜ｐｄ＜avgp2 ・・・（２９）
端子１８０５より、補正フィルタ処理部１５０７で得られた第１の補正後のデジタル画像を入力する。
乗算部１８０６は、端子１８０５から入力された第１の補正後のデジタル画像に、計数ｃ１を乗算する。
端子１８０７より、補正フィルタ処理部１５０７で得られた第２の補正後のデジタル画像を入力する。
減算部１８０８は、以下の（３０）式により、係数ｃ２を算出する。
ｃ２＝１−ｃ１ ・・・（３０）
端子１８０７より、補正フィルタ処理部１５０７で得られた第２の補正後のデジタル画像を入力する。
減算部１８０８は、以下の（３０）式により、係数ｃ２を算出する。
ｃ２＝１−ｃ１ ・・・（３０）
乗算部１８０９は、端子１８０７から入力された第２の補正後のデジタル画像に、計数ｃ２を乗算する。
加算部１８１０は、係数ｃ１が乗算された第１の補正後のデジタル画像と、係数ｃ２が乗算された第２の補正後のデジタル画像とを加算し、端子１８１１を介して領域合成部１５０９へ出力する。
尚、補正フィルタ選択部１７０７により１つの補正フィルタが選択された場合には、画像合成部１５０８によるデジタル画像の合成は行われない。
加算部１８１０は、係数ｃ１が乗算された第１の補正後のデジタル画像と、係数ｃ２が乗算された第２の補正後のデジタル画像とを加算し、端子１８１１を介して領域合成部１５０９へ出力する。
尚、補正フィルタ選択部１７０７により１つの補正フィルタが選択された場合には、画像合成部１５０８によるデジタル画像の合成は行われない。
以上のように本実施形態では、矩形領域im,nごとに、複数の補正フィルタの候補を取得し、補正フィルタを用いた場合のノイズ知覚量を導出する。導出したノイズ知覚量のうち、ノイズ知覚量の目標値である目標ノイズ知覚量ｐｄに近いノイズ知覚量に対応する補正フィルタを選択する。そして、選択した補正フィルタが複数の場合、当該複数の補正フィルタによる補正フィルタ処理が行われたデジタル画像を、目標ノイズ知覚量ｐｄに近づくように合成する。したがって、第１、第２の実施形態で説明した効果に加えて、ノイズ知覚量が目標とするノイズ知覚量に近づくように補正フィルタを選択することができる。したがって、ボケを補正した後のデジタル画像のノイズ知覚量を、目標とするノイズ知覚量に近づけることができる。
尚、本実施形態では、第２の実施形態に対して、補正フィルタを選択する構成を付加した場合を例に挙げて説明した。しかしながら、本実施形態を第１の実施形態に適用してもよい。また、目標ノイズ知覚量Ｐｄに近いノイズ知覚量に対応する補正フィルタを用いて補正されたデジタル画像に対する重み係数の大きさを大きくして重みづけ加算（重み付け線形和の計算）を行っていれば、必ずしも（２７）式の計算を行う必要はない。
尚、本実施形態では、第２の実施形態に対して、補正フィルタを選択する構成を付加した場合を例に挙げて説明した。しかしながら、本実施形態を第１の実施形態に適用してもよい。また、目標ノイズ知覚量Ｐｄに近いノイズ知覚量に対応する補正フィルタを用いて補正されたデジタル画像に対する重み係数の大きさを大きくして重みづけ加算（重み付け線形和の計算）を行っていれば、必ずしも（２７）式の計算を行う必要はない。
（第４の実施形態）
次に、第４の実施形態について説明する。第１〜第３の実施形態では、ノイズ知覚量導出部２０３、１２０４、１５０６の帯域分割部４０６での処理に、cortexフィルタとして知られるフィルタを用いた場合を例に挙げて説明した。しかし、cortexフィルタは、周波数特性が非常に特殊な形のフィルタである為、演算処理が重くなる。そこで、本実施形態では、cortexフィルタを、空間周波数領域における縦方向と横方向のフィルタを結合した簡易な帯域分割フィルタに置き換えることで、演算処理を軽くする。このように本実施形態と第１〜第３の実施形態とでは、帯域分割フィルタが異なることによる構成および処理が主として異なる。したがって、本実施形態の説明において、第１〜第３の実施形態と同一の部分については、図１〜図１８に付した符号と同一の符号を付す等して詳細な説明を省略する。
次に、第４の実施形態について説明する。第１〜第３の実施形態では、ノイズ知覚量導出部２０３、１２０４、１５０６の帯域分割部４０６での処理に、cortexフィルタとして知られるフィルタを用いた場合を例に挙げて説明した。しかし、cortexフィルタは、周波数特性が非常に特殊な形のフィルタである為、演算処理が重くなる。そこで、本実施形態では、cortexフィルタを、空間周波数領域における縦方向と横方向のフィルタを結合した簡易な帯域分割フィルタに置き換えることで、演算処理を軽くする。このように本実施形態と第１〜第３の実施形態とでは、帯域分割フィルタが異なることによる構成および処理が主として異なる。したがって、本実施形態の説明において、第１〜第３の実施形態と同一の部分については、図１〜図１８に付した符号と同一の符号を付す等して詳細な説明を省略する。
＜ノイズ知覚量導出部１９００＞
図１９は、ノイズ知覚量導出部１９００の構成の一例を示す図である。本実施形態のノイズ知覚量導出部１９００の動作の一例を、図１９に基づいてについて説明する。本実施形態と第１の実施形態とはノイズ知覚量導出部の構成が異なる。
端子１９０１より、信号処理部１０３で生成されたデジタル画像iin(x,y)が入力される。端子１９０２より、ノイズ特性推定部２０２で得られたノイズの分散σn（ノイズ特性）が入力される。
図１９は、ノイズ知覚量導出部１９００の構成の一例を示す図である。本実施形態のノイズ知覚量導出部１９００の動作の一例を、図１９に基づいてについて説明する。本実施形態と第１の実施形態とはノイズ知覚量導出部の構成が異なる。
端子１９０１より、信号処理部１０３で生成されたデジタル画像iin(x,y)が入力される。端子１９０２より、ノイズ特性推定部２０２で得られたノイズの分散σn（ノイズ特性）が入力される。
ノイズ画像生成部４０３は、デジタル画像iin(x,y)と同じサイズのホワイトノイズ画像nw(x,y)を、ノイズの分散が端子１９０２より入力されたノイズの分散σnとなるように生成する。そして、ノイズ画像生成部４０３は、デジタル画像iin(x,y)とホワイトノイズ画像nw(x,y)とを加算することでノイズ画像n(x,y)を生成する。
帯域分割部１９０３は、帯域分割フィルタを用いて、デジタル画像iin(x,y)を、複数の空間周波数帯域ごとに分割し、デジタル画像に対する帯域分割周波数情報Isk,l(u,v)を生成する。同様に、帯域分割部１９０３は、帯域分割フィルタを用いて、ノイズ画像n(x,y) を、複数の空間周波数帯域ごとに分割し、ノイズ画像に対する帯域分割周波数情報Nsk,l(u,v)を生成する。帯域分割周波数情報Isk,l(u,v)、Nsk,l(u,v)は、以下の（３１）式、（３２）式で求めることができる。
帯域分割部１９０３は、帯域分割フィルタを用いて、デジタル画像iin(x,y)を、複数の空間周波数帯域ごとに分割し、デジタル画像に対する帯域分割周波数情報Isk,l(u,v)を生成する。同様に、帯域分割部１９０３は、帯域分割フィルタを用いて、ノイズ画像n(x,y) を、複数の空間周波数帯域ごとに分割し、ノイズ画像に対する帯域分割周波数情報Nsk,l(u,v)を生成する。帯域分割周波数情報Isk,l(u,v)、Nsk,l(u,v)は、以下の（３１）式、（３２）式で求めることができる。
（３１）式、（３２）式において、ｋは水平（横）方向のインデックス、ｌは垂直（縦）方向のインデックスである。また、（３１）式、（３２）式において、帯域分割フィルタfilterbankk,l(u,v)は、以下の（３３）式のように定義される。
（３３）式において、Ｋは水平（横）方向の空間周波数帯域の分割数であり、Ｌは垂直（縦）方向の空間周波数帯域の分割数である。本実施形態では、Ｋ＝６、Ｌ＝６とする。
図２０は、帯域分割フィルタfilterbankk,l(u,v)により複数に分割された空間周波数領域を模式的に示す図である。図２０において、横軸、縦軸は、とも正規化周波数空間である。図２０では、各フィルタの半値周波数を、太い実線で示す。
ノイズマスク部４０８は、デジタル画像に対する帯域分割周波数情報Isk,l(x,y)に基づいて、ノイズ画像に対する帯域分割周波数情報Nsk,l(x,y)に対するマスキングを施す。これにより、人間に知覚されるノイズ画像である知覚ノイズ画像Pk,l(x,y)が算出される。知覚ノイズ画像Pk,l(x,y)は、空間周波数帯域ごとに算出される。
ノイズ知覚量算出部４０９は、空間周波数帯域ごとの知覚ノイズ画像Pk,l(x,y)を合成し、ノイズ知覚量P(x,y)を算出する。
図２０は、帯域分割フィルタfilterbankk,l(u,v)により複数に分割された空間周波数領域を模式的に示す図である。図２０において、横軸、縦軸は、とも正規化周波数空間である。図２０では、各フィルタの半値周波数を、太い実線で示す。
ノイズマスク部４０８は、デジタル画像に対する帯域分割周波数情報Isk,l(x,y)に基づいて、ノイズ画像に対する帯域分割周波数情報Nsk,l(x,y)に対するマスキングを施す。これにより、人間に知覚されるノイズ画像である知覚ノイズ画像Pk,l(x,y)が算出される。知覚ノイズ画像Pk,l(x,y)は、空間周波数帯域ごとに算出される。
ノイズ知覚量算出部４０９は、空間周波数帯域ごとの知覚ノイズ画像Pk,l(x,y)を合成し、ノイズ知覚量P(x,y)を算出する。
以上のように本実施形態では、cortexフィルタのような特殊なフィルタを使うことなく、簡易な処理でノイズを抑制しつつレンズ収差を補正する画像処理を実現することができる。
尚、本実施形態では、周波数域での乗算を行うことで帯域分割を行ったが、空間域での畳みこみ演算を行うことで帯域分割を実現することも可能である。また、本実施形態に対しては、ウェーブレットなど公知の帯域分割フィルタを適用することが可能である。また、本実施形態では、第１の実施形態の帯域分割フィルタを変更する場合を例に挙げて説明したが、本実施形態を第２、第３の実施形態にも適用できる。
尚、本実施形態では、周波数域での乗算を行うことで帯域分割を行ったが、空間域での畳みこみ演算を行うことで帯域分割を実現することも可能である。また、本実施形態に対しては、ウェーブレットなど公知の帯域分割フィルタを適用することが可能である。また、本実施形態では、第１の実施形態の帯域分割フィルタを変更する場合を例に挙げて説明したが、本実施形態を第２、第３の実施形態にも適用できる。
前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）が当該コンピュータプログラムを読み出して実行する。
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）が当該コンピュータプログラムを読み出して実行する。
１０１ 撮像部、１０４ 画像処理部、１０８ ＣＰＵ
Claims (11)
- 撮像画像を撮像した際の露出に関する条件に基づいて、当該撮像画像におけるノイズの特性を導出するノイズ特性導出手段と、
前記撮像画像と、前記ノイズ特性導出手段により導出されたノイズの特性と、光に対する視覚の感度を表す情報と、に基づいて、前記撮像画像に前記ノイズの特性に基づくノイズを重畳させた場合の当該ノイズの知覚のされやすさを評価した値であるノイズ知覚量を導出するノイズ知覚量導出手段と、
前記ノイズ知覚量導出手段により導出されたノイズ知覚量に基づいて、前記撮像画像に生じるボケの補正を行う補正手段と、を有することを特徴とする画像処理装置。 - 前記ノイズ知覚量導出手段は、
前記撮像画像に対して、前記ノイズ特性導出手段により導出された特性のノイズが重畳された画像であるノイズ画像を生成するノイズ画像生成手段と、
前記撮像画像と前記ノイズ画像とを、それぞれ空間周波数の関数に変換する変換手段と、
前記空間周波数の関数に変換された前記撮像画像と前記ノイズ画像とに対して、コントラスト感度と空間周波数との関係を表す空間視覚特性をそれぞれ乗算する空間視覚特性乗算手段と、
前記空間視覚特性が乗算された前記撮像画像と前記ノイズ画像とを、それぞれ空間周波数帯域ごとに分割する帯域分割手段と、
前記空間周波数ごとに分割された撮像画像と、前記空間周波数帯域ごとに分割されたノイズ画像とに基づいて、前記空間周波数帯域ごとの前記ノイズ知覚量である部分ノイズ知覚量を算出する部分ノイズ知覚量算出手段と、
前記部分ノイズ知覚量算出手段により算出された部分ノイズ知覚量を合成して前記ノイズ知覚量を算出するノイズ知覚量算出手段と、
を有することを特徴とする請求項１に記載の画像処理装置。 - 前記帯域分割手段は、空間周波数の特性が、空間周波数領域における円周方向の特性と半径方向の特性との結合で定義される帯域分割フィルタ、もしくは、空間周波数の特性が、空間周波数領域における縦方向の特性と横方向の特性との結合で定義される帯域分割フィルタを用いて、前記空間視覚特性が乗算された前記撮像画像と前記ノイズ画像とを、それぞれ空間周波数帯域ごとに分割することを特徴とする請求項２に記載の画像処理装置。
- 前記撮像画像を複数の領域に分割する領域分割手段を有し、
前記ノイズ特性導出手段は、前記複数の領域ごとに前記ノイズの特性を導出し、
前記ノイズ知覚量導出手段は、前記複数の領域ごとに前記ノイズ知覚量を導出し、
前記補正手段は、前記複数の領域ごとの前記ノイズ知覚量に基づいて、前記撮像画像に生じるボケの補正を行うことを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。 - 前記補正手段は、
前記ノイズ知覚量導出手段により導出されたノイズ知覚量に基づいて、前記撮像画像に生じるボケの補正を行うための補正フィルタによる補正量を制御する補正フィルタ制御手段と、
前記補正フィルタ制御手段により補正量が制御された補正フィルタを用いて前記撮像画像を補正する補正フィルタ処理手段と、を有することを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。 - 前記補正フィルタ制御手段は、前記ノイズ知覚量導出手段により導出されたノイズ知覚量に基づいて、前記撮像画像を補正するための補正フィルタに対するゲインを制御することを特徴とする請求項５に記載の画像処理装置。
- 前記補正手段は、
前記ノイズ知覚量の目標値に基づいて、前記撮像画像に生じるボケの補正を行うための複数の補正フィルタの中から、少なくとも１つの補正フィルタを選択する補正フィルタ選択手段と、
前記補正フィルタ選択手段により選択された補正フィルタを用いて前記撮像画像を補正する補正フィルタ処理手段と、を有し、
前記ノイズ知覚量導出手段は、前記撮像画像と、前記ノイズの特性と、前記補正フィルタと、に基づいて、複数の前記補正フィルタに対応する前記ノイズ知覚量をそれぞれ導出することを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。 - 前記補正手段は、前記補正フィルタ選択手段により複数の補正フィルタが選択された場合、当該複数の補正フィルタを用いて前記補正フィルタ処理手段により補正された複数の前記撮像画像のそれぞれを、前記ノイズ知覚量の目標値に近づくように合成する画像合成手段を有することを特徴とする請求項７に記載の画像処理装置。
- 前記画像合成手段は、前記ノイズ知覚量の目標値に近いノイズ知覚量に対応する補正フィルタを用いて前記補正フィルタ処理手段により補正された前記撮像画像であるほど、当該撮像画像に対する重み係数の大きさを大きくして、前記複数の撮像画像の重み付け加算を行うことを特徴とする請求項８に記載の画像処理装置。
- 撮像画像を撮像した際の露出に関する条件に基づいて、当該撮像画像におけるノイズの特性を導出するノイズ特性導出工程と、
前記撮像画像と、前記ノイズ特性導出工程により導出されたノイズの特性と、光に対する視覚の感度を表す情報と、に基づいて、前記撮像画像に前記ノイズの特性に基づくノイズを重畳させた場合の当該ノイズの知覚のされやすさを評価した値であるノイズ知覚量を導出するノイズ知覚量導出工程と、
前記ノイズ知覚量導出工程により導出されたノイズ知覚量に基づいて、前記撮像画像に生じるボケの補正を行う補正工程と、を有することを特徴とする画像処理方法。 - コンピュータを、請求項１〜９の何れか１項に記載された画像処理装置の各手段として機能させるためのプログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013226038A JP6202989B2 (ja) | 2013-10-30 | 2013-10-30 | 画像処理装置、画像処理方法およびプログラム |
| US14/515,883 US9531922B2 (en) | 2013-10-30 | 2014-10-16 | Image processing apparatus, image processing method, and computer readable storage medium for improving sharpness |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013226038A JP6202989B2 (ja) | 2013-10-30 | 2013-10-30 | 画像処理装置、画像処理方法およびプログラム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2015088935A JP2015088935A (ja) | 2015-05-07 |
| JP2015088935A5 JP2015088935A5 (ja) | 2016-12-01 |
| JP6202989B2 true JP6202989B2 (ja) | 2017-09-27 |
Family
ID=53051301
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013226038A Expired - Fee Related JP6202989B2 (ja) | 2013-10-30 | 2013-10-30 | 画像処理装置、画像処理方法およびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6202989B2 (ja) |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4527439B2 (ja) * | 2004-03-25 | 2010-08-18 | 富士フイルム株式会社 | 画像処理方法および装置並びにプログラム |
| JP5654860B2 (ja) * | 2010-12-13 | 2015-01-14 | キヤノン株式会社 | 画像処理装置及びその制御方法、プログラム |
| JP5745438B2 (ja) * | 2012-02-15 | 2015-07-08 | 日立Ｇｅニュークリア・エナジー株式会社 | 検査方法および検査装置 |
-
2013
- 2013-10-30 JP JP2013226038A patent/JP6202989B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015088935A (ja) | 2015-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5968073B2 (ja) | 画像処理装置、撮像装置、画像処理方法、および画像処理プログラム | |
| JP5054248B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、撮像装置 | |
| JP5984493B2 (ja) | 画像処理装置、画像処理方法、撮像装置およびプログラム | |
| JP2013172213A (ja) | 画像処理装置、撮像装置、画像処理方法、および、プログラム | |
| JP7234057B2 (ja) | 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、記憶媒体、および、画像処理システム | |
| JP5932485B2 (ja) | ノイズリダクション装置及びノイズリダクション方法 | |
| JP5479187B2 (ja) | 画像処理装置及びそれを用いた撮像装置 | |
| JP2012003455A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
| CN115496673A (zh) | 图像处理方法、图像处理装置、图像处理系统、以及存储介质 | |
| JP5843599B2 (ja) | 画像処理装置および撮像装置並びにその方法 | |
| JP5455728B2 (ja) | 撮像装置、画像処理装置、及び画像処理方法 | |
| JP2015115733A (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
| JP5654860B2 (ja) | 画像処理装置及びその制御方法、プログラム | |
| CN109672810B (zh) | 图像处理设备、图像处理方法和存储介质 | |
| JP2015177528A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP6202989B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| CN112073603B (zh) | 图像处理设备、摄像设备、图像处理方法和存储介质 | |
| JP7183015B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP7134766B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2015121884A (ja) | 画像処理装置、その方法、及びプログラム | |
| US9531922B2 (en) | Image processing apparatus, image processing method, and computer readable storage medium for improving sharpness | |
| JP2019140605A (ja) | 画像処理装置、画像処理方法およびプログラム | |
| JP2019016222A (ja) | 画像処理装置およびその制御方法 | |
| JP2015088914A (ja) | 画像処理装置、画像処理方法およびプログラム | |
| JP2017123532A (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161018 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161018 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170626 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170801 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170829 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6202989 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| LAPS | Cancellation because of no payment of annual fees |