JP6908277B2

JP6908277B2 - 画像処理装置及び方法、画像処理装置の制御プログラム並びに記録媒体

Info

Publication number: JP6908277B2
Application number: JP2018026284A
Authority: JP
Inventors: 和也児玉; 健太福井
Original assignee: Inter University Research Institute Corp Research Organization of Information and Systems
Current assignee: Inter University Research Institute Corp Research Organization of Information and Systems
Priority date: 2018-02-16
Filing date: 2018-02-16
Publication date: 2021-07-21
Anticipated expiration: 2038-02-16
Also published as: JP2019145914A

Description

本発明は、例えば複数の画像からなる多焦点画像（例えば、焦点位置を変えて撮影した複数の画像又は動画像をいう）中の固定パターンノイズ（以下、固定ノイズという）を除去する画像処理装置及び方法、画像処理装置の制御プログラム並びに当該制御プログラムを格納した記録媒体に関する。

近年、撮像光学系の光軸方向で異なる焦点位置で複数枚撮影された焦点ぼけ画像群を線形接合することにより、不安定な奥行き推定を行うことなく、全焦点画像を再構成する研究が行われてきた（例えば、非特許文献１参照）。

図３Ａは従来技術に係る全焦点画像の一例であって、固定ノイズの抑制処理をしない全焦点画像を示す写真画像である。また、図３Ｂは従来技術に係る全焦点画像の一例であって、固定ノイズの抑制処理をした全焦点画像を示す写真画像である。

しかし、線形フィルタは一種のハイパスフィルタとして機能するため、焦点ぼけ画像群中の同一画素に固定ノイズが重畳されている場合、図３Ａのように再構成される全焦点画像の品質が著しく悪化してしまう。そこで、前処理として固定ノイズを抑制することにより、図３Ｂのように全焦点画像の品質を維持する手法が検討されてきた（例えば、非特許文献２参照）。

この手法では固定ノイズを加法性と乗法性の２種類に分類して抑制する。初めに加法性ノイズの抑制する方法について示す。焦点ぼけ画像群上の分散σａ^２を持つ加法性ノイズによる劣化復元は、全変動Ｊを目的関数に含む凸最適化問題に落とし込むことが可能である。すなわち、次式で定式化できる。

ここで、ｕはノイズを抑制した焦点ぼけ画像群であり、ｖはノイズが重畳された焦点ぼけ画像群であり、Ｆｖはｌ_２ノルム球の指示関数である。また、固定ノイズが重畳されている画素は同一の輝度変化量であるという制約条件を組み込むことにより、式（１）は次式で表される。

なお、指示関数Ｆ’ｖは図４のようなｌ_２ノルム球に固定ノイズの制約条件を組み込んだ指示関数となる。一般の場合、ｕをｌ_２ノルム球に対して凸射影する一方、固定ノイズの制約条件を含んだｌ_２ノルム球を用いた指示関数では、積集合（斜線）の領域では０、その他の領域では＋∞となる。従って、ｕをｌ_２ノルム球に凸射影していた近接写像を、ｌ_２ノルム球のうち積集合上に凸射影してｕ”を求める近接写像に置き換えることが可能となる。最後に、式（２）に対して、Ｐｒｉｍａｌ−ＤｕａｌＳｐｌｉｔｔｉｎｇ法（以下、ＰＤＳ法という；例えば、非特許文献３，４参照）を用いることで。解の逐次近似式が得られる。

次に、乗法性ノイズを抑制する方法を示す（例えば、特許文献１及び非特許文献４参照）。焦点ぼけ画像群ｕに乗法性ノイズｍが重畳されたモデルは、焦点ぼけ画像群ｕ及び乗法性ノイズｍを用いて次式で表される。

ｖ＝ｕｍ（３）

ここで、ｍは分散σｍ^２を持つ乗法性ノイズを示す。ここで式（３）に対して、対数変換を施すことで、次式で表される。

ｌｏｇ（ｖ）＝ｌｏｇ（ｕ）＋ｌｏｇ（ｍ）（４）

従って、線形結合の形式となり、前述の加法性ノイズの成分として乗法性ノイズの抑制が可能となる。ただし、雑音強度ｍに応じて強く歪むため、実際は輝度変換及びｌ_２ノルム球の半径を変更したうえで、加法性ノイズと同様にしてノイズ抑制を行うことができる（例えば、特許文献１及び非特許文献４参照）。

特開２０１７−０９８９３３号公報

K. Kodama et al., "Efficient reconstruction of all-in-focus images through shifted pin-holes from multi-focus images for dense light field synthesis and rendering," IEEE Transactions on Image Processing, Vol. 22, No. 11, pp. 4407-4421, November 2013. K. Kodama et al., "Robust removal of fixed pattern noise on multi-focus images," in 2017 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 1318-1322, March, 2017. Antonin Chambolle et al., "A rst-order primal-dual algorithm for convex problems with applications to imaging," Journal of mathematical imaging and vision, Vol. 40, No. 1, pp. 120-145, 2011. Laurent Condat, "A primal{dual splitting method for convex optimization involving lipschitzian, proximable and linear composite terms," Journal of Optimization Theory and Applications, Vol. 158, No. 2, pp. 460-479, 2013. 村上友近ほか，「微小な固定ノイズを含む焦点ぼけ画像群に適した復元処理手法の検討」，映像メディア処理シンポジウム（ＩＭＰＳ２０１５），Ｉ−１−０６，ｐｐ．３２−３３，２０１５年１１月。

前述のとおり、この手法では加法性ノイズ及び乗法性ノイズの抑制を高精度に行うことが可能である。

しかしながら、入力画像である焦点ぼけ画像群に加法性ノイズ又は乗法性ノイズのいずれかが重畳されている場合のみを想定している。つまり、焦点ぼけ画像群に加法性ノイズ及び乗法性ノイズの両方が重畳されている場合、この手法では高精度にノイズを抑制することが困難である。実際、撮像センサで画像を取得する際には、両方のノイズが重畳されると考えられる。従って、例えば焦点ぼけ画像群などの複数の画像からなる画像群に加法性ノイズ及び乗法性ノイズの両方が重畳されている場合には、いまだ精度よくこれらのノイズを同時に抑制することはできないという問題点があった。

本発明の目的は以上の問題点を解決し、例えば焦点ぼけ画像群などの複数の画像からなる画像群に加法性ノイズ及び乗法性ノイズの両方が重畳されている場合において、従来技術に比較して高精度でこれらのノイズを同時に抑制することはできる画像処理装置及び方法、当該画像処理装置の制御プログラム並びに、当該制御プログラムを格納した記録媒体を提供することにある。

第１の発明に係る画像処理装置は、
同一の撮像デバイスで撮像された複数の画像データにおける固定ノイズを除去する制御手段を備えた画像処理装置において、
前記固定ノイズは加法性ノイズと乗法性ノイズを含み、
前記制御手段は、前記固定ノイズが重畳されている画素は同一の輝度変化量であるという制約条件のもとで、前記撮像された複数の画像データに対して、乗法性ノイズの逆数と、加法性ノイズとを線形結合の形式で表した目的関数を用いて、加法性ノイズと乗法性ノイズとを同時に除去する画像処理を実行することを特徴とする。

前記画像処理装置において、前記目的関数は、
（１）乗法性ノイズの逆数と、加法性ノイズとを線形結合の形式で表し、かつ、乗法性ノイズ及び加法性ノイズが共に重畳された画像データの対角行列を用いて表した一次微分のＴＧＶ（ＴｏｔａｌＧｅｎｅｒａｌｉｚｅｄＶａｒｉａｔｉｏｎ）と、
（２）加法性ノイズ及び乗法性ノイズの逆数に対する制約条件のｌ_２ノルム球の指示関数と
を含むように表し、
前記制御手段は、前記目的関数を用いてＰＤＳ（Ｐｒｉｍａｌ−ＤｕａｌＳｐｌｉｔｔｉｎｇ）法を適用して、前記撮像された複数の画像データから、加法性ノイズと乗法性ノイズとを同時に除去することを特徴とする。

また、前記画像処理装置において、前記同一の撮像デバイスで撮像された複数の画像データは、同一の対象物を異なる複数の焦点位置で撮像された焦点ぼけ画像群の複数の画像データであることを特徴とする。

第２の発明に係る画像処理方法は、
同一の撮像デバイスで撮像された複数の画像データにおける固定ノイズを除去する制御手段を備えた画像処理装置により実行される画像処理方法において、
前記固定ノイズは加法性ノイズと乗法性ノイズを含み、
前記制御手段が、前記固定ノイズが重畳されている画素は同一の輝度変化量であるという制約条件のもとで、前記撮像された複数の画像データに対して、乗法性ノイズの逆数と、加法性ノイズとを線形結合の形式で表した目的関数を用いて、加法性ノイズと乗法性ノイズとを同時に除去する画像処理を実行するステップを含むことを特徴とする。

前記画像処理方法において、
前記目的関数は、
（１）乗法性ノイズの逆数と、加法性ノイズとを線形結合の形式で表し、かつ、乗法性ノイズ及び加法性ノイズが共に重畳された画像データの対角行列を用いて表した一次微分のＴＧＶ（ＴｏｔａｌＧｅｎｅｒａｌｉｚｅｄＶａｒｉａｔｉｏｎ）と、
（２）加法性ノイズ及び乗法性ノイズの逆数に対する制約条件のｌ_２ノルム球の指示関数と
を含むように表し、
前記制御手段は、前記目的関数を用いてＰＤＳ（Ｐｒｉｍａｌ−ＤｕａｌＳｐｌｉｔｔｉｎｇ）法を適用して、前記撮像された複数の画像データから、加法性ノイズと乗法性ノイズとを同時に除去することを特徴とする。

また、前記画像処理方法において、前記同一の撮像デバイスで撮像された複数の画像データは、同一の対象物を異なる複数の焦点位置で撮像された焦点ぼけ画像群の複数の画像データであることを特徴とする。

第３の発明に係る画像処理装置の制御プログラムは、
前記画像処理方法の各ステップを含むことを特徴とする。

第４の発明に係る画像処理装置により読取可能な記録媒体は、
前記画像処理装置の制御プログラムを格納したことを特徴とする。

従って、本発明に係る画像処理装置及び方法等によれば、例えば焦点ぼけ画像群などの複数の画像からなる画像群に加法性ノイズ及び乗法性ノイズの両方が重畳されている場合において、従来技術に比較して高精度でこれらのノイズを同時に抑制することはできる。

本発明の一実施形態に係る画像処理装置１０を含む画像処理システムの構成例を示すブロック図である。図１のコントローラ３０により実行される画像処理プログラムである固定ノイズ除去のための画像処理を示すフローチャートである。従来技術に係る全焦点画像の一例であって、固定ノイズの抑制処理をしない全焦点画像を示す写真画像である。従来技術に係る全焦点画像の一例であって、固定ノイズの抑制処理をした全焦点画像を示す写真画像である。従来技術に係る固定ノイズの除去処理における指示関数Ｆ’ｖに組み込まれるｌ_２ノルム球に対する固定ノイズの制約条件を示す図である。本実施形態に係る固定ノイズの除去処理における指示関数Ｆ’ｖに組み込まれる乗法性ノイズ（逆数）に対するｌ_２ノルム球に対する固定ノイズの制約条件を示す図である。本実施形態に係る固定ノイズの除去処理における指示関数Ｆ’ｖに組み込まれる加法性ノイズに対するｌ_２ノルム球に対する固定ノイズの制約条件を示す図である。従来技術及び実施形態に係る固定ノイズの除去処理のシミュレーション結果であって、重畳させる乗法性ノイズの強度を変化させたときの全焦点画像におけるピーク信号対雑音比（ＰＳＮＲ）を示すグラフである。従来技術及び実施形態に係る固定ノイズの除去処理のシミュレーション結果であって、重畳させる加法性ノイズの強度を変化させたときの全焦点画像におけるピーク信号対雑音比（ＰＳＮＲ）を示すグラフである。従来技術及び実施形態に係る固定ノイズの除去処理のシミュレーション結果であって、重畳させる固定ノイズの強度を変化させたときの全焦点画像及びピーク信号対雑音比（ＰＳＮＲ）を示す表である。従来技術及び実施形態に係る固定ノイズの除去処理の実験結果であって、全焦点画像（実画像）を示す表である。従来技術及び実施形態に係る固定ノイズの除去処理の実験結果であって、全焦点画像（実画像）における、図９のハッチング部分のライン上の画像の輝度値の変化を示すグラフである。図１０Ａにおいて、輝度値が比較的小さい部分（ｘ＝４０〜６０）における拡大図である。図１０Ａにおいて、輝度値が比較的大きい部分（ｘ＝７０〜９０）における拡大図である。

以下、比較例及び本発明に係る実施形態について図面を参照して説明する。なお、以下の実施形態において、同様の構成要素については同一の符号を付している。

本発明に係る実施形態では、例えば複数の画像からなる焦点ぼけ画像群中に固定ノイズが重畳されている場合に、再構成した全焦点画像の著しい品質劣化を抑制することができる画像処理装置及び方法について以下に説明する。

図１は本発明の一実施形態に係る画像処理装置１０を含む画像処理システムの構成例を示すブロック図である。実施形態に係る画像処理装置１０は、入力画像データ処理部２１と、固定ノイズ除去処理部２２と、出力画像データ処理部２３と、データ記憶部２５と、光ディスクドライブ装置２６と、画像処理装置１０の各部を制御するコントローラ３０とを備えて構成される。画像処理装置１０には、画像処理装置１０の動作を指示する操作部１１と、例えばカメラ又は顕微鏡等（例えば、特許文献１参照）の撮像デバイス１２と、表示部であるディスプレイ１３とが接続される。ここで、コントローラ３０は制御プログラムを格納する内部メモリ３０ｍを有し、例えばディジタル計算機等のコンピュータにより構成される。

図１において、撮像デバイス１２は例えば撮像センサとフロントエンド回路とを含んで構成され、例えば所定の局所領域を複数回撮像して得られた複数の画像データ（いわゆる複数のボリューム画像データであって、例えば２次元又は３次元画像データ）からなる画像データ群（例えば、焦点位置を変えて撮影した複数の画像データ（動画像データを含む）を生成して入力画像データ処理部２１に出力する。データ記憶部２５は画像処理装置１０で実行される固定ノイズ除去処理を含む画像処理を実行するために必要なプログラム（図１の画像処理装置１０を制御するための制御プログラムであって、本実施形態では、図２の画像処理プログラムをいう）及びデータ（例えば、初期データ等）を予め格納するとともに、処理途中の画像データ及びパラメータセットを緩衝格納し、出力画像データ及び出力パラメータセットを格納する。なお、画像処理プログラムはデータ記憶部２５に予め格納してもよいし、もしくは、例えばＤＶＤ、ＣＤなどの光ディスクの記録媒体２７に格納された後、画像処理装置１０の動作開始時に光ディスクドライブ装置２６に当該記録媒体２７を挿入して光ディスクドライブ装置２６により当該画像処理プログラムを読み出してデータ記憶部２５にロードして実行してもよい。

図２は図１のコントローラ３０により実行される画像処理プログラムである固定ノイズ除去のための画像処理を示すフローチャートである。

図２のステップＳ１において、入力画像データ処理部２１が、撮像デバイス１２から複数の画像データを入力し、入力した複数の画像データを一時的にデータ記憶部２５に緩衝記憶した後、所定のインターフェース処理を行って所定の画像データ形式に変換して固定ノイズ除去処理部２２に出力する。次いで、ステップＳ２において、入力される複数の画像データに対して、データ記憶部２５を用いながら詳細後述する固定ノイズ除去処理を実行した後、画像処理後の画像データを出力画像データ処理部２３に出力する。さらに、ステップＳ３において、入力される画像処理後の画像データに対して所定のインターフェース処理を行って所定の画像データ形式に変換してディスプレイ１３に出力して表示させる。

次いで、固定ノイズ除去処理部２２により実行される固定ノイズ除去処理について以下に説明する。本実施形態では、例えば焦点ぼけ画像群に加法性ノイズ及び乗法性ノイズの両方が重畳されている場合に、これらのノイズを同時に抑制する手法を提案する。ここで、焦点ぼけ画像群に加法性ノイズａが重畳後、乗法性ノイズｍが重畳されると仮定すると、加法性ノイズａ及び乗法性ノイズｍが共に重畳されたモデルを次式で表される。

ｖ＝ｍ（ｕ＋ａ）（５）

ここで、式（５）において、乗法性ノイズｍの逆数ｎ＝１／ｍを用いることで、次式で表される。

ｖｎ＝ｕ＋ａ（６）

さらに、式（６）を次式のように線形結合の形式に変形する。

ｕ＝ｖｎ−ａ（７）

これにより、従来手法と同様の枠組みでノイズ抑制が可能となる。これを、加法性ノイズａを抑制する手法（例えば、特許文献１参照）に適応することで、目的関数を示す次式を得る。ここで、（ｎ’，ａ’）は、処理対象の画像ｕにおける固定ノイズであって、劣化復元後の画像ｕ’を式（７）により求めるための目的関数を含む。なお、式（８）から式（７）を用いて画像ｕ’を求めることができる。

ここで、

において、例えば一次微分の公知のＴｏｔａｌＧｅｎｅｒａｌｉｚｅｄＶａｒｉａｔｉｏｎ（以下、ＴＧＶという）を用いる。ＴＧＶを目的関数の指標として用いると、全変動を用いる場合に比べ、画像のグラデーション領域に発生する階段状のアーティファクトを抑制することができる。ここで、ベクトルｖに対応する対角行列Ｖ（ベクトルｖの要素を対角に配置した行列）を用いることで、次式で表される。

従って、式（８）は、次式で表される。なお、式（１０）から式（７）を用いて画像ｕ’を求めることができる。

図５Ａは本実施形態に係る固定ノイズの除去処理における指示関数Ｆ’に組み込まれる乗法性ノイズ（逆数）に対するｌ_２ノルム球に対する固定ノイズの制約条件を示す図である。また、図５Ｂは本実施形態に係る固定ノイズの除去処理における指示関数Ｆ’に組み込まれる加法性ノイズに対するｌ_２ノルム球に対する固定ノイズの制約条件を示す図である。

また、指示関数

は図５Ａ及び図５Ｂに示すように、加法性ノイズａ及び乗法性ノイズｍの逆数ｎに対するｌ_２ノルム球の指示関数となる。それぞれの固定ノイズの制約条件を加えたｌ_２ノルム球を用いた指示関数において、従来手法と同様に、積集合（斜線）の領域では０、その他の領域では＋∞となる。従って、加法性ノイズａ及び乗法性ノイズｎをｌ_２ノルム球のうちの積集合上に凸射影して、ｎ”及びａ”を求める近接写像に変更する。最後に、加法性ノイズａを抑制する従来手法と同様に、ＰＤＳ法を適用することにより、加法性ノイズａ及び乗法性ノイズｍを同時に抑制することが可能となる。

なお、本実施形態において、ＰＤＳ法を用いるときのアルゴリズムの式を以下に示す。

ここで、Ａ，Ｂは凸関数であって、Ｌは線形演算子であり、ｐｒｏｘτＡ＊，ｐｒｏｘδＢは近接写像の凸射影を示す関数である。なお、Ａ^＊は凸関数Ａの共役関数である。

また、近接写像の凸射影は次式で表される。

さらに、ＴＧＶとして次式を適用する。

ここで、αは各項のバランスをとるためのパラメータであって、本実施形態では、α＝０．５に設定した。また、∇は微分演算子を表す。

（多焦点画像のノイズ除去の評価及び考察）
（評価方法）
次いで、固定ノイズが重畳された焦点ぼけ画像群から再構成した全焦点画像を用いて、提案手法の有効性を確認する。

初めに、１２８×１２８画素のシミュレーション画像に対して、ボケ味がガウス関数となる３次元ぼけ（半径ｒ＝１．０）を与え、焦点ぼけ画像群を作成した。これらの画像に対して任意の固定ノイズを重畳することで、最終の入力画像とした。なお、重畳する固定ノイズは、加法性ノイズａの強度σａ＝０，０．１，１及び乗法性ノイズｍの強度σｍ＝０，０．１，１％とした。この入力画像から再構成した全焦点画像の品質評価を行った。比較手法として、ノイズ除去を行わない場合、加法性ノイズ又は乗法性ノイズのみを抑制する従来手法、加法性ノイズを抑制する従来手法を適応した後に乗法性ノイズを抑制する従来手法を適応した場合、乗法性ノイズを抑制する従来手法を適応した後に加法性ノイズを抑制する従来手法を適応した場合の４通りを用いた。すなわち、以下で参照する図６〜図１０Ｃにおいて、従来技術に係る従来手法、本実施形態に係る提案手法を以下のように分類して固有のアルファベットの符号（図６及び図７では、番号の後ろに付す）を使用する。

Ａ：加法性ノイズのみを抑制する従来手法；
Ｂ：乗法性ノイズのみを抑制する従来手法；
Ｃ：本実施形態に係る提案手法；
Ｄ：従来手法Ａを実行した後に、従来手法Ｂを実行する比較例手法；及び
Ｅ：従来手法Ｂを実行した後に、従来手法Ａを実行する比較例手法。

なお、固定ノイズ除去処理の品質については、ノイズの重畳されていない正解画像とＰＳＮＲを用いて比較した。また、入力画像にランダムノイズは重畳されていないものとした。次に、オリンパス製ＢＸ６１型顕微鏡に、浜松ホトニクス製ＯＲＣＡ−Ｆｌａｓｈ２．８型ＣＭＯＳ計測用カメラを接続して撮影した実画像を入力画像として実験を行った。このとき、加法性ノイズａの強度σａ＝０．１６及び乗法性ノイズｍの強度σｍ＝０．５％の推定値を用いて、提案手法及び前述の４通りの方法で比較を行った。

（シミュレーション画像での評価結果及び考察）
図６は従来技術及び実施形態に係る固定ノイズの除去処理のシミュレーション結果であって、重畳させる乗法性ノイズの強度を変化させたときの全焦点画像におけるピーク信号対雑音比（ＰＳＮＲ）を示すグラフである。また、図７は従来技術及び実施形態に係る固定ノイズの除去処理のシミュレーション結果であって、重畳させる加法性ノイズの強度を変化させたときの全焦点画像におけるピーク信号対雑音比（ＰＳＮＲ）を示すグラフである。すなわち、図６に乗法性ノイズの強度を変化させた場合の全焦点画像の品質を示し、図７に加法性ノイズの強度を変化させた場合の全焦点画像の品質を示す。なお、図６における従来手法は乗法性ノイズを抑制する手法、図７における従来手法は加法性ノイズを抑制する手法を用いている。

図６及び図７から明らかなように、提案手法（６２Ｃ，６３Ｃ；７２Ｃ，７３Ｃ）は、ノイズ除去を行わない場合（６１Ｆ，６２Ｆ，６３Ｆ；７１Ｆ，７２Ｆ，７３Ｆ）及び従来手法（６２Ｂ，６３Ｂ；７２Ａ，７３Ａ）と比べて、固定ノイズをより抑制できていることがわかる。ただし、乗法性ノイズｍのみを重畳した場合（図６のσａ＝０）及び加法性ノイズａのみを重畳した場合（図７のσｍ＝０％）では、提案手法（６１Ｃ；７１Ｃ）は従来手法（６１Ｂ；７１Ａ）よりわずかに品質が劣っている。これは、従来手法（６１Ｂ；７１Ａ）が加法性ノイズａ又は乗法性ノイズｍのいずれか一方をより高精度に抑制することができるためであると考えられる。一方、加法性ノイズａ及び乗法性ノイズｍが共に重畳されている場合、従来手法が品質が著しく悪化しているのに対して、提案手法は良好な品質を維持していることから、提案手法の有効性が確認できる。

図８は従来技術及び実施形態に係る固定ノイズの除去処理のシミュレーション結果であって、重畳させる固定ノイズの強度を変化させたときの全焦点画像及びピーク信号対雑音比（ＰＳＮＲ）を示す表である。すなわち、図８に重畳させる固定ノイズの強度を変化させて再構成した全焦点画像を示す。ここで、加法性ノイズａの強度σａ＝０及び乗法性ノイズｍの強度σｍ＝０％の場合は、入力画像の焦点ぼけ画像群に固定ノイズが重畳されていないため、ノイズ除去を行わずに再構成した全焦点画像となっている。なお、最も高精度な品質を示した手法に対して下線を引いている。

図８から明らかなように、重畳させる固定ノイズを加法性ノイズａ又は乗法性ノイズｍのいずれかのみの場合は従来手法（Ａ，Ｂ）の方が品質を維持しているが、両方の固定ノイズが重畳されている場合は提案手法（Ｃ）が最も品質が良いことがわかる。また、雑音強度を大きくした、加法性ノイズａの強度σａ＝１及び乗法性ノイズｍの強度σｍ＝１％の場合は、画像を見ても提案手法（Ｃ）が最も良い品質であることがわかる。

（実画像での評価結果及び考察）
図９は従来技術及び実施形態に係る固定ノイズの除去処理の実験結果であって、全焦点画像（実画像）を示す表である。なお、図９におけるハッチング部分のライン上の画像の輝度値の変化を図１０Ａ〜図１０Ｃで参照する。

図９から明らかなように、提案手法（Ｃ）は、ノイズ除去を行わない場合（Ｆ）及び加法性ノイズａを抑制する従来手法（Ａ）、加法性ノイズａを抑制した後に乗法性ノイズｍを抑制する場合（Ｄ）及び乗法性ノイズを抑制した後に加法性ノイズを抑制する場合（Ｅ）より品質が良好であることがわかる。一方、提案手法（Ｃ）と、乗法性ノイズを抑制する従来手法（Ｂ）との違いが明らかではない。そこで全焦点画像中のハッチング部分の輝度値の変化を以下で確認する。

図１０Ａは従来技術及び実施形態に係る固定ノイズの除去処理の実験結果であって、全焦点画像（実画像）における、図９のハッチング部分のライン上の画像の輝度値の変化を示すグラフである。また、図１０Ｂは図１０Ａにおいて、輝度値が比較的小さい部分（ｘ＝４０〜６０）における拡大図であり、図１０Ｃは図１０Ａにおいて、輝度値が比較的大きい部分（ｘ＝７０〜９０）における拡大図である。すなわち、図１０Ａに全焦点画像中の斜線（ｘ＝４０〜９０；ｙ＝３０）における輝度値の変化のグラフを示す。また、図１０Ｂに輝度値の小さい領域を拡大したグラフ、図１０Ｃに輝度値の大きい領域を拡大したグラフを示す。

図１０Ａ〜図１０Ｃから明らかなように、これらのグラフは、輝度値の変化がより滑らかであるほど、固定ノイズの影響を抑制できていることを示している。図１０Ａから、提案手法（Ｃ）は従来手法（Ａ，Ｄ，Ｅ）より輝度値の変化が滑らかであるため、固定ノイズによる品質劣化の影響を抑制できていることがわかる。また、拡大図である図１０Ｂ及び図１０Ｃから、乗法性ノイズｍを抑制する従来手法（Ｂ）と比べて、提案手法（Ｃ）がより高精度にノイズ抑制できていることが確認できる。

以上説明したように、本実施形態によれば、例えば焦点ぼけ画像群などの複数の画像からなる画像群に加法性ノイズ及び乗法性ノイズの両方が重畳されている場合において、従来技術に比較して高精度でこれらのノイズを同時に抑制することはできる。

（変形例１）
以上の実施形態では、撮影時の焦点ぼけ画像群全体に対して固定ノイズ除去処理を実行することで、固定ノイズを低減する方法について説明した。しかし、焦点ぼけ画像群を構成する画像の枚数Ｍが増加するほど、焦点ぼけ画像群全体の最適化に必要な計算負荷（演算量やメモリ）が増加する。この課題を解決するためには、焦点ぼけ画像群を構成する画像から一部の画像を選択し、最適化することで固定ノイズを推定し、その後焦点ぼけ画像群全体から固定ノイズを低減してもよい。これにより、焦点ぼけ画像群を構成する画像の枚数Ｍが多数である場合でも計算負荷を抑え、高速に処理ができる。

（変形例２）
以上の実施形態では、焦点ぼけ画像群から固定ノイズを低減する方法について説明した。しかし、本発明の適用対象は必ずしも焦点ぼけ画像群に限定されず、動画像データに適用してもよい。複数枚からなる画像群の同一の画素位置で被写体の像の画像成分（例えばテクスチャ）が大きく変化するならば、被写体の像の画像成分を打ち消す輝度変更は必ずしも画像群全体の滑らかさを向上させることにはならないため、固定ノイズの低減が可能である。

以上詳述したように、本発明に係る画像処理装置及び方法等によれば、例えば焦点ぼけ画像群などの複数の画像からなる画像群に加法性ノイズ及び乗法性ノイズの両方が重畳されている場合において、従来技術に比較して高精度でこれらのノイズを同時に抑制することはできる。

１０…画像処理装置、
１１…操作部、
１２…撮像デバイス、
１３…ディスプレイ、
２１…入力画像データ処理部、
２２…固定ノイズ除去処理部、
２３…出力画像データ処理部、
２５…データ記憶部、
２６…光ディスクドライブ装置、
２７…記録媒体、
３０…コントローラ、
３０ｍ…内部メモリ。

Claims

同一の撮像デバイスで撮像された複数の画像データにおける固定ノイズを除去する制御手段を備えた画像処理装置において、
前記固定ノイズは加法性ノイズと乗法性ノイズを含み、
前記制御手段は、前記固定ノイズが重畳されている画素は同一の輝度変化量であるという制約条件のもとで、前記撮像された複数の画像データに対して、乗法性ノイズの逆数と、加法性ノイズとを線形結合の形式で表した目的関数を用いて、加法性ノイズと乗法性ノイズとを同時に除去する画像処理を実行することを特徴とする画像処理装置。
前記目的関数は、
（１）乗法性ノイズの逆数と、加法性ノイズとを線形結合の形式で表し、かつ、乗法性ノイズ及び加法性ノイズが共に重畳された画像データの対角行列を用いて表した一次微分のＴＧＶ（ＴｏｔａｌＧｅｎｅｒａｌｉｚｅｄＶａｒｉａｔｉｏｎ）と、
（２）加法性ノイズ及び乗法性ノイズの逆数に対する制約条件のｌ_２ノルム球の指示関数と
を含むように表し、
前記制御手段は、前記目的関数を用いてＰＤＳ（Ｐｒｉｍａｌ−ＤｕａｌＳｐｌｉｔｔｉｎｇ）法を適用して、前記撮像された複数の画像データから、加法性ノイズと乗法性ノイズとを同時に除去することを特徴とする請求項１記載の画像処理装置。
前記同一の撮像デバイスで撮像された複数の画像データは、同一の対象物を異なる複数の焦点位置で撮像された焦点ぼけ画像群の複数の画像データであることを特徴とする請求項１又は２記載の画像処理装置。
同一の撮像デバイスで撮像された複数の画像データにおける固定ノイズを除去する制御手段を備えた画像処理装置により実行される画像処理方法において、
前記固定ノイズは加法性ノイズと乗法性ノイズを含み、
前記制御手段が、前記固定ノイズが重畳されている画素は同一の輝度変化量であるという制約条件のもとで、前記撮像された複数の画像データに対して、乗法性ノイズの逆数と、加法性ノイズとを線形結合の形式で表した目的関数を用いて、加法性ノイズと乗法性ノイズとを同時に除去する画像処理を実行するステップを含むことを特徴とする画像処理方法。
前記目的関数は、
（１）乗法性ノイズの逆数と、加法性ノイズとを線形結合の形式で表し、かつ、乗法性ノイズ及び加法性ノイズが共に重畳された画像データの対角行列を用いて表した一次微分のＴＧＶ（ＴｏｔａｌＧｅｎｅｒａｌｉｚｅｄＶａｒｉａｔｉｏｎ）と、
（２）加法性ノイズ及び乗法性ノイズの逆数に対する制約条件のｌ_２ノルム球の指示関数と
を含むように表し、
前記制御手段は、前記目的関数を用いてＰＤＳ（Ｐｒｉｍａｌ−ＤｕａｌＳｐｌｉｔｔｉｎｇ）法を適用して、前記撮像された複数の画像データから、加法性ノイズと乗法性ノイズとを同時に除去することを特徴とする請求項４記載の画像処理方法。
前記同一の撮像デバイスで撮像された複数の画像データは、同一の対象物を異なる複数の焦点位置で撮像された焦点ぼけ画像群の複数の画像データであることを特徴とする請求項４又は５記載の画像処理方法。
請求項４〜６のうちのいずれか１つに記載の画像処理方法の各ステップを含むことを特徴とする、画像処理装置の制御プログラム。
請求項７記載の画像処理装置の制御プログラムを格納したことを特徴とする、画像処理装置により読取可能な記録媒体。