JP6292947B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、複数の画像データを用いてノイズ低減を行う画像処理装置、画像処理方法およびプログラムに関するものである。

デジタルスチルカメラやデジタルビデオカメラなどのデジタル撮像装置が広く普及して一般に利用されている。これらのデジタル撮像装置は、ＣＣＤやＣＭＯＳセンサなどの光電荷変換素子（撮像素子）で受光した光をデジタル信号に変換することでデジタル画像データを生成する。

デジタル画像データを生成する過程では、撮像素子や回路の特性により暗電流ノイズ、熱雑音、ショットノイズなどが発生し、デジタル画像データにノイズが混入する。近年の撮像素子の小型化、高画素化に伴い画素ピッチが極小化しているため、ノイズが目立ちやすくなっており、特に撮像感度を高くした場合などはノイズが顕著に発生し、画質劣化の大きな要因になっている。従って、高画質な画像データを得るためには混入したノイズを低減する必要がある。

より低ノイズの画像データの取得を行う場合、ランダムノイズの低減に加えて固定パターンノイズの低減が必要となる。特許文献１は、固定パターンノイズを低減する方法としては、あらかじめ固定パターンノイズに相当する画像データを取得し、撮像により取得した画像データから固定パターンノイズを減算する方法を提案している。

特開平１１−６９２２６号公報

Sung C. P., Min K. P. ,"Super-Resolution Image Reconstruction: A Technical Overview", 米国 IEEE Signal Proc. Magazine, 第26巻, 第3号, p.21-36，2003年 Richard Szeliski, "Computer Vision:Algorithms and Applications", Springer, New York, 2010

しかしながら、特許文献１に開示された方法によれば、固定パターンノイズデータを必要とするため、撮像装置の制約により十分な精度の固定パターンノイズデータを取得できない場合、適用が不可能であったり、ノイズの増大を招いたりするという問題がある。そこで本発明は、あらかじめ取得した固定パターンノイズを用いることなく、固定パターンノイズを低減することを目的とする。

本発明にかかる画像処理装置は、複数の画像データにおける同一画素位置で概略同じ値を持つような固定パターンノイズを低減する画像処理装置であって、同一の被写体を撮像して得た複数の画像データを取得する画像取得手段と、前記画像データ間の被写体像の位置ずれ情報を取得する位置ずれ情報取得手段と、前記位置ずれ情報に基づいて前記複数の画像データにそれぞれ対応する線形フィルタを決定する決定手段と、前記決定した線形フィルタを前記複数の画像データにそれぞれ適用することにより、前記画像データにおけるノイズを低減するノイズ低減手段とを有することを特徴とする。

本発明によれば、あらかじめ取得した固定パターンノイズデータを用いることなく、固定パターンノイズの低減が可能となる。

第一の実施形態の撮像装置の構成例を表すブロック図である。 撮像部の構成例を表すブロック図である。 複数の画像データ間の位置ずれと位置ずれフィルタの関係を表す模式図である。 複数の位置ずれを有する画像データとランダムノイズ及び固定パターンノイズの関係を表す模式図である。 第一の実施形態における画像処理部の構成例を表すブロック図である。 第一の実施形態における画像処理のフローを表す図である。 フィルタ決定部の構成例を表すブロック図である。 フィルタ決定処理のフローを表す図である。 ノイズ低減部の構成例を表すブロック図である。 ノイズ低減処理のフローを表す図である。 第二の実施形態における画像処理部の構成例を表すブロック図である。 第二の実施形態における画像処理のフローを表す図である。 位置ずれ情報算出部の構成例を表すブロック図である。 位置ずれ情報算出処理のフローを表す図である。 ノイズ特性算出部の構成例を表すブロック図である。 ノイズ特性算出処理のフローを表す図である。 第三の実施形態における画像処理部の構成例を表すブロック図である。 第三の実施形態における画像処理のフローを表す図である。

以下、添付の図面を参照して、本発明を好適な実施例に基づいて詳細に説明する。なお、以下の実施例において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。

＜実施形態１＞
＜撮像装置の全体構成＞
図１は、本発明の実施形態１に係る撮像装置の構成の一例を示すブロック図である。撮像装置は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、操作部１０４、表示制御部１０５、表示部１０６、メディアＩ／Ｆ１０７、ＰＣ・その他メディア１０８、キャラクタージェネレーション部１０９を有する。また、撮像装置は、エンコーダ部１１１、デジタル信号処理部１１２、撮像部１１３、画像処理部１１４を有する。

撮像部１１３は、詳細は後述するが、光学系によって結像された被写体像を撮像素子により画像データへと変換する。

画像処理部１１４は、詳細は後述するが、撮像部１１３により取得された複数の画像データを用いてノイズ低減処理を行う。

ＣＰＵ１０１は、各構成の処理全てに関わり、ＲＯＭ１０２やＲＡＭ１０３に格納された命令を順に読み込み、解釈し、その結果に従って処理を実行する。また、ＲＯＭ１０２とＲＡＭ１０３は、その処理に必要なプログラム、データ、作業領域などをＣＰＵ１０１に提供する。画像処理部１１４は、撮像部１１３を構成する撮像素子のノイズ特性の情報を用いる処理を行なう。これらの情報はあらかじめＲＯＭ１０２ないしはＲＡＭ１０３に格納されているものとする。また、撮像部１１３及び画像処理部１１４は各入力画像データの像の位置ずれ情報を用いる処理を行なうが、これらの情報はあらかじめＲＯＭ１０２ないしはＲＡＭ１０３に格納されているものとする。

バス１１０は各構成要素間で、データや処理の指示をやり取りするための経路として機能する。操作部１０４は、ボタンやモードダイヤルなどが該当し、これらを介して入力されたユーザー指示を受け取る。キャラクタージェネレーション１０９部は、文字やグラフィックなどを生成する。

表示部１０６は、一般的には液晶ディスプレイが広く用いられており、キャラクタージェネレーション部１０９や表示制御部１０５から受け取った撮像画像データや文字の表示を行う。また、タッチスクリーン機能を有していても良く、その場合は、ユーザー指示を操作部１０４の入力として扱うことも可能である。

デジタル信号処理部１１２は撮像部１１３により取得された画像データの輝度値の調整や欠陥画素の補間などを行う。これらの処理は画像処理部１１４による処理の前に行われる。

エンコーダ部１１１は画像処理部１１４によって生成された画像データのエンコード処理を行う。

メディアインターフェース１０７は、ＰＣ・その他メディア（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）１０８につなぐためのインターフェースである。メディアインターフェース１０７を介してエンコーダ部１１１でエンコードされた画像データの出力が行われる。

なお、装置の構成要素は上記以外にも存在するが、本実施形態の主眼ではないので、説明を省略する。

＜撮像部の構成＞
図２は、撮像部１１３の構成例を示すブロック図である。レンズ２０１及びレンズ２０２は結像光学系を構成する。被写体から発せられた光線は該結像光学系により、絞り２０３、ＩＲカットフィルタ２０４、ローパスフィルタ２０５、カラーフィルタ２０６を通過した後に、撮像素子２０７上に結像される。

なお、ここで示した光学系の構成は、説明のために単純化した例であり、撮像素子上に被写体の像を結像させる機能を有すればどのような構成でもかまわない。例えばオートフォーカスやズームなどの機能を持たせてもかまわない。また、カラー画像を取得する構成について説明したが、取得する画像は白黒や４色以上の画素を持つ画像、画素毎に露出の異なる画像などいずれの画像でもかまわない。

撮像素子２０７及びＡ／Ｄ変換部２０８はＣＭＯＳイメージセンサなどのイメージセンサに相当する。撮像素子２０７は２次元の格子状に配列され、結像された像を電気信号に変換する。Ａ／Ｄ変換部２０８は電気信号に変換された像の情報をデジタル信号に変換する。デジタル信号に変換された像の情報はバッファ２０９内に格納され、画像データとなる。

撮像素子駆動部２１０は撮像素子を水平移動させるための機械的な機構でありモーターなどによって構成される。位置ずれ制御部２１１はＣＰＵ１０１の指示に基づいて、撮像素子駆動部２１０を用いて撮像素子の位置を制御し、撮像素子２０７に撮像のための信号を送ることで、所定の位置ずれをもった像を画像データとして取得する。

＜固定パターンノイズ低減の原理＞
本実施形態では位置ずれのある複数の画像データを用いて固定パターンノイズの低減を行う。画像データ、位置ずれ、固定パターンノイズ及びランダムノイズの関係を図３、図４を用いて説明する。固定パターンノイズは、複数の画像データにおける同一画素位置で概略同じ値を持つようなノイズである。ランダムノイズは、複数の画像データに含まれる同一画素位置で画像データごとに概略異なる値を持つようなノイズである。ここでは３枚の画像データを用いる例を示している。Lが位置ずれのない原画像データ、f_m（m=1,2,3）が位置ずれを表すフィルタ、f_m*L（m=1,2,3）が位置ずれのある原画像データを表す。また、N_Fが固定パターンノイズ、N_Rm（m=1,2,3）がランダムノイズ、I_m（m=1,2,3）が撮像によって取得される観測画像データを表す。

図３は位置ずれのある原画像データf_m*Lは、位置ずれのない原画像データLに位置ずれを表すフィルタf_mをコンボリューションすることで得られることを表している。位置ずれを表すフィルタf_mは位置ずれに相当する量だけ、原点からずれたインパルス信号に相当する。また、図４は位置ずれのある原画像データf_m*Lに固定パターンノイズN_FとランダムノイズN_Rmとを加算したものが観測画像データI_mである事を表している。

以上の関係を式で表したものが式１である。ここで、I_m、f_m、L、N_F、N_Rmは画素位置毎に値が定義されたデータであり、*はコンボリューションの演算を表す。

本実施形態における固定パターンノイズ低減処理とは、式１の関係に基づいて、あらかじめ得られるf_mに相当する位置ずれ情報を用いて、複数の観測画像データI_mから位置ずれのない原画像データLを分離する処理である。位置ずれ情報は、あらかじめ設定されているものを用いてもよいし、計測することで得られる情報を用いてもよい。本実施形態では、後述するように、あらかじめ設定されている位置ずれ情報を用いる例を説明する。

次に、固定パターンノイズ低減処理の原理について説明する。本実施形態では固定パターンノイズN_FとランダムノイズN_Rmとが正規分布となるような統計的性質を持つとみなして、非特許文献１で説明されているようなMAP法の考え方に基づいて処理を行う。式２はMAP法に基づいて定式化した固定パターンノイズ低減処理である。L’、N’_FはMAP法による推定で得られる位置ずれなし原画像データと固定パターンノイズとをそれぞれ表す。また、σ² _F、σ² _Rは固定パターンノイズとランダムノイズの分散を表す。Mは観測画像データの枚数を表す。式２は、原画像データＬと固定パターンノイズN_Fとをパラメータとした場合に最小となる値が、推定原画像データL’と推定固定パターンノイズN’_Fとが確率的に尤もとり得る値であることを表す。ここで、|| ||₂は画素位置毎に値が定義されたデータに対して各要素を2乗した値の総和の平方根を表す。

式２の問題はフーリエ変換を用いて解くことができる。パーセバルの定理により式２が成り立つならば式３も成り立つ。ここで、^はフーリエ変換を表す記号である。

式３の右辺は２乗の項のみからなるので、右辺が最小となる値は右辺を極小とする値となる。右辺を極小とするパラメータL,N_Fは、右辺の微分値を０とすれば求まる。すなわち、L’,N’_Fは式4及び式5を満たす。ここで、^-は複素共役を表す記号である。

式４は、パラメータＬについて微分値を０とした式であり、式５はパラメータN_Fについての微分値を０とした式である。式4に式5で求まるN_Fを代入することで式6が得られる。

すなわち、撮像によって得られた観測画像データI_mと、制御ないし計測することで得られた位置ずれフィルタf_mとを用いて式6に基づく計算を行うことで、固定パターンノイズが低減された推定原画像データL’を得る事が出来る。式１に示すように固定パターンノイズおよびランダムノイズをモデル化することで、原画像データLと固定パターンノイズN_Fとを２次式で表すことが可能となる。従って、推定原画像データL’と推定固定パターンノイズN’_Fが尤もとり得る値を２次式の微分の極小で求めることができる。

このように、式６に基づく処理により、複数の観測画像データから線形フィルタと代数演算によって推定原画像データを推定することが可能である。線形フィルタはFFTによるフーリエ変換と周波数空間での乗算によって少ない計算量で実施することができる。また、代数演算も計算量の少ない処理であるため、本実施形態によれば少ない計算量で、複数の観測画像データI_mから固定パターンノイズN_Fの低減された推定原画像データL’を推定することができる。

＜画像処理部の構成と処理＞
図５は、画像処理部１１４の構成例を示すブロック図である。画像処理部１１４は、画像取得部５０１、位置ずれ情報取得部５０２、ノイズ特性取得部５０３、フィルタ決定部５０４、ノイズ低減部５０５、および画像出力部５０６を有する。

画像取得部５０１は撮像部１１３によって撮像された複数の入力画像データを、バス１１０を介して取得する。

位置ずれ情報取得部５０２は位置ずれ情報を、バス１１０を介して取得する。位置ずれ情報とは、撮像部１１３が撮像した入力画像データに写っている像が、基準位置に対してどの程度ずれているかを表す情報であり、入力画像データ上の垂直、水平方向それぞれのずれ量をピクセル数で表すなどする。本実施形態では位置ずれは、位置ずれ制御部２１１の指示により撮像素子駆動部２１０により機械的に制御されるものとする。位置ずれ制御部２１１の制御値は、ＣＰＵ１０１などによって設定されるものとし、位置ずれ情報はあらかじめＲＯＭ１０２ないしＲＡＭ１０３に格納されているものとする。

ノイズ特性取得部５０３は撮像素子２０７のノイズ特性を、バス１１０を介して取得する。ノイズ特性とは、固定パターンノイズの分散及びランダムノイズの分散などで表される。本実施形態においては、ノイズ特性はあらかじめＲＯＭ１０２ないしＲＡＭ１０３に格納されているものとする。

フィルタ決定部５０４は、位置ずれ情報取得部５０２が取得した位置ずれ情報と、ノイズ特性取得部５０３が取得したノイズ特性とに基づいて、画像取得部５０１が取得した入力画像データから推定原画像データを分離するための画像分離フィルタを生成する。画像分離フィルタは、入力画像データに対応する数だけ生成する。詳細は後述する。

ノイズ低減部５０５は、フィルタ決定部５０４が生成した複数の画像分離フィルタを、画像取得部５０１が取得した複数の画像データにそれぞれ適用し、固定パターンノイズが低減された推定原画像データを生成する。詳細は後述する。

画像出力部５０６はノイズ低減部５０５が生成した推定原画像データを、バス１１０に出力する。

なお、本実施形態では画像処理を行う際に、画像分離フィルタを算出する構成としたが、与える位置ずれに応じた画像分離フィルタをあらかじめ算出しておいても構わない。

図６を用いて画像処理の流れの一例を説明する。図６に示す処理は、ＲＯＭに格納されたプログラムをＲＡＭに読み出したＣＰＵの制御に基づいて画像処理部１１４において実行される。

ステップＳ６０１では画像取得部５０１が複数の入力画像データを取得する。ステップＳ６０１で取得する複数の入力画像データは、位置がずれた画像データである。

ステップＳ６０２では位置ずれ情報取得部５０２がステップＳ６０１で取得した複数の入力画像データに対応する位置ずれ情報を取得する。

ステップＳ６０３ではノイズ特性取得部５０３がノイズ特性を取得する。例えばノイズ特性としてノイズの分散を取得するノイズ分散取得処理を行なう。

ステップＳ６０４ではフィルタ決定部５０４が位置ずれ情報とノイズ特性とから、画像分離フィルタを決定する。

ステップＳ６０５ではノイズ低減部５０５がステップＳ６０４で決定された画像分離フィルタを入力画像データに適用し、推定原画像データを生成する。

ステップＳ６０６では画像出力部５０６は、生成した推定原画像データを出力する。

＜フィルタ決定部の構成と処理＞
図７は、フィルタ決定部５０４の構成例を示すブロック図である。フィルタ決定部５０４は、位置ずれフィルタ生成部７０１、フーリエ変換部７０２、および画像分離フィルタ算出部７０３を有する。

位置ずれフィルタ生成部７０１は位置ずれ情報取得部５０２から入力された位置ずれ情報に基づいて位置ずれフィルタを生成する。位置ずれフィルタとは図３のf_n（n=1,2,3）に相当するようなフィルタであり、コンボリューションによって画像データ上の像を所定の位置ずれ量だけ移動させる事が出来る。一例として、(水平位置ずれ量,垂直位置ずれ量)=(h,k)とした場合、位置ずれフィルタは(-h,-k)のピクセルだけ1の値を持ち、その他のピクセルが0の値を持つ画像データとなる。なお、画像データの境界は巡回しているものととして扱う。位置ずれフィルタは画像取得部５０１が取得した複数の入力画像データの数と同じだけ生成される。

フーリエ変換部７０２は位置ずれフィルタ生成部７０１が生成した複数の位置ずれフィルタをFFTなどの方法でフーリエ変換する。

画像分離フィルタ算出部７０３は、フーリエ変換された複数の位置ずれフィルタとノイズ特性取得部５０３から入力されたノイズ特性とに基づいて、複数の画像分離フィルタを算出する。画像分離フィルタは観測画像データに相当する入力画像データに適用して推定原画像データを生成するためのフィルタであり、ここでは複数ある入力画像データのそれぞれに適用する周波数空間でのフィルタで表すものとする。推定原画像データを生成するための処理は式６で表される演算であるので、n番目の入力画像データI_nに適用される画像分離フィルタg_nは式７のようになる。

このような演算を実施することで、画像分離フィルタ算出部703は複数の入力画像データの位置ずれにそれぞれ対応した複数の画像分離フィルタを生成する。

図８を用いてフィルタ決定処理の流れの一例を説明する。

ステップＳ８０１では位置ずれフィルタ生成部７０１が、各入力画像データに対応する位置ずれ情報から複数の位置ずれフィルタを生成する。

ステップＳ８０２ではフーリエ変換部７０２が、ステップＳ８０１で生成した複数の位置ずれフィルタをフーリエ変換する。

ステップＳ８０３では画像分離フィルタ算出部７０３が、ノイズ特性とステップＳ８０２でフーリエ変換された複数の位置ずれフィルタとに基づいて画像分離フィルタを算出する。

＜ノイズ低減部の構成と処理＞
図９は、ノイズ低減部５０５の構成例を示すブロック図である。ノイズ低減部５０５は、フーリエ変換部９０１、フィルタ演算部９０２、および逆フーリエ変換部９０３を有する。

フーリエ変換部９０１は画像取得部５０１から入力された複数の入力画像データをＦＦＴなどの方法でフーリエ変換する。

フィルタ演算部９０２はフィルタ決定部５０４から入力された画像分離フィルタを、フーリエ変換部９０１がフーリエ変換した入力画像データに適用する演算を行う。m番目の入力画像データをI_m、m番目の画像分離フィルタをg_mとしたとき、式８で表される演算を行うことで、フィルタ演算部９０２における処理は実施される。

g_mは式７によって算出されているので、この処理によって式６に相当する推定原画像データ算出の演算を行うことができる。

逆フーリエ変換部９０３はフィルタ演算部９０２で周波数空間の画像データとして算出された推定原画像データに、逆FFTなどで逆フーリエ変換を行うことで実空間における推定原画像データを生成する。

本実施形態では以上のような線形フィルタ処理と代数演算によって固定パターンノイズの低減された推定原画像データを生成することができる。

なお、本実施形態では各入力画像データに適用するフィルタを生成した後に、周波数空間でそれぞれ適用して加算するものとしたが、式６に表される演算と等価な処理ならば、どのような方法でおこなっても構わない。例えば、式６右辺の分子の演算を実空間において画像データに位置ずれを与える操作と代数演算で実施し、フーリエ変換した後に分母による除算を適用するというような方法を用いてもよい。

図１０を用いてノイズ低減処理の流れの一例を説明する。

ステップＳ１００１ではフーリエ変換部９０１が複数の入力画像データをフーリエ変換する。

ステップＳ１００２ではステップＳ１００１でフーリエ変換した複数の入力画像データに、それぞれ対応する画像分離フィルタを適用し推定原画像データを生成する。

ステップＳ１００３ではステップＳ１００２で生成した推定原画像データを逆フーリエ変換する。

なお、本実施形態では固定パターンノイズが撮像素子２０７のノイズであるとしたが、レンズや撮像素子の汚れ、撮像系における何らかの写り込みなど、入力画像データにおいて被写体の像に加算されて撮像されている要素ならどのようなものでも構わない。また、σ_F及びσ_Rがノイズの分散を表すものとしたが、標準偏差など分散を規定し得る値ならどのようなものでも構わない。また、σ_F及びσ_Rを正則化のパラメータとみなして厳密にノイズの分散と対応付けない構成でも構わない。また、画像毎にランダムノイズの特性が異なる複数の入力画像データを用いて、本実施形態と同様の原理に基づいてフィルタによる固定パターンノイズの低減を行う構成としても構わない。また、推定原画像データを出力する構成としたが、式１、式４、式５に基づきランダムノイズや固定パターンノイズを算出して出力する構成としても構わない。また、ボケや明るさの異なる入力画像データを用いて、これを位置ずれフィルタに反映することで、固定パターンノイズの低減を行う構成としても構わない。

以上、本実施形態によれば、あらかじめ取得した固定パターノイズデータを用いることなく、入力元画像データに含まれる固定パターンノイズを低減することが可能となる。

＜実施形態２＞
実施形態１では撮像によって取得される入力画像データの位置ずれ情報があらかじめＲＯＭ１０２ないしＲＡＭ１０３に格納されており、その情報に基づいて位置ずれ制御部２１１が位置ずれ量の制御を行う構成を例に挙げて説明した。また、撮像素子２０７のノイズ特性があらかじめＲＯＭ１０２ないしＲＡＭ１０３に格納されているという構成を例に挙げて説明した。しかし、この構成では撮像装置が位置ずれを十分な制度で制御する機構を持たない場合や、撮像素子のノイズ特性が不明である場合、精度の高い固定パターンノイズの低減を行うことができない。実施形態２では、位置ずれ情報とノイズ特性とを入力画像データから推定することで、上述の条件下でも精度の高い固定パターンノイズの低減処理を可能とする。

＜画像処理部の構成と処理＞
図１１は実施形態２の画像処理部１１４の構成例を表すブロック図である。実施形態２では実施形態１と比較して、位置ずれ情報取得部５０２が位置ずれ情報算出部１１０１に、ノイズ特性取得部５０３がノイズ特性算出部１１０２にそれぞれ置き換えられている。位置ずれ情報算出部１１０１は、詳細は後述するが、画像取得部５０１から入力された複数の画像データの位置ずれ情報を算出し、フィルタ決定部５０４に出力する。ノイズ特性算出部１１０２は、詳細は後述するが、画像取得部５０１から入力された複数の画像データのノイズ特性を算出し、フィルタ決定部５０４に出力する。

図１２は実施形態２の画像処理の流れの一例である。実施形態２では実施形態１に対して、ステップＳ６０２がステップＳ１２０１に、ステップＳ６０３がステップＳ１２０２に置き換えられている。ステップＳ１２０１では、詳細は後述するが、位置ずれ情報算出部１１０１がステップＳ６０１で取得した複数の入力画像データから位置ずれ情報を算出する。算出された位置ずれ情報はステップＳ６０４の画像分離フィルタの決定に用いられる。ステップＳ１２０２では、詳細は後述するが、ノイズ特性算出部１１０２がステップＳ６０１で取得した複数の入力画像データからノイズ特性を算出する。算出されたノイズ特性はステップＳ６０４の画像分離フィルタの決定に用いられる。

＜位置ずれ情報算出部の構成と処理＞
図１３は、位置ずれ情報算出部１１０１の構成例を示すブロック図である。位置ずれ情報算出部１１０１は、特徴点抽出部１３０１、特徴量算出部１３０２、マッチング部１３０３、および位置ずれパラメータ推定部１３０４を有する。

特徴点抽出部１３０１は画像取得部５０１から入力された複数の入力画像データに対して特徴点抽出を行う。特徴点とは、暗い背景の中にある明るい四角形の角など、点として位置が特定可能な画像の構造のことである。特徴点抽出には非特許文献２の４．１．１項で説明されているように様々な方法がある。ここでは一例としてＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴点を用いるものとする。特徴点抽出部１３０１は特徴点抽出の結果として、特徴点の画像データ上での位置を出力する。また、ＳＩＦＴ特徴点のような手法の場合、合わせて特徴点の向き、スケールも出力する。

特徴量算出部１３０２は、特徴点抽出部１３０１が抽出した特徴点の近傍の画素値を、対応する入力画像データから取得し特徴量を算出する。特徴量とは、特徴点の近傍の画像の構造を用いて記述される、その特徴点を他の特徴点と識別するためのデータである。特徴量には非特許文献２の４．１．２項で説明されているように様々な種類がある。ここでは一例としてＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴量を用いるものとする。ＳＩＦＴ特徴量の場合、特徴点の位置だけでなく向きやスケールも利用することになる。特徴量は一般に多次元のベクトルとして表される。

マッチング部１３０３は基準となる入力画像データの特徴点群とその他の入力画像データの特徴点群とのマッチングを、特徴量算出部１３０２が算出した特徴量を用いて行う。ここでは１番目の入力画像データを基準として扱うものとする。マッチングの方法には非特許文献２の４．１．３項で説明されているように様々な手法がある。ここでは、基準となる入力画像データの特徴点それぞれに対して、特徴量の差分二乗和が最小となる特徴点を、その他の各画像から総当たりで探して選択する方法を用いるものとする。マッチングの結果、基準となる入力画像データの特徴点それぞれについて、その他の各入力画像データの特徴点が対応付けられた状態になる。

位置ずれパラメータ推定部１３０４はマッチング部１３０３が算出したマッチング結果と特徴点抽出部１３０１が算出した特徴点の位置とから、基準となる入力画像データとその他の入力画像データとの位置ずれを表すパラメータを推定する。位置ずれは入力画像データ間の水平方向と垂直方向のずれ量で表す。ずれ量の算出方法としては、入力画像データ間の対応する特徴点の位置について各入力画像データ毎に平均をとり、その差を求める方法などがある。なお、実際にはマッチング部１３０３で求めた対応には外れ値が含まれていることが考えられるので、非特許文献２の６．１．４項で説明されているＲＡＮＳＡＣのようなロバスト性を高める手法を併用する。このようにして位置ずれパラメータ推定部１３０４で算出された位置ずれパラメータは、位置ずれ情報としてフィルタ決定部５０４に出力される。

図１４を用いて位置ずれ情報算出処理の流れの一例を説明する。

ステップＳ１４０１では特徴点抽出部１３０１が複数の入力画像データそれぞれに対して特徴点抽出を行う。

ステップＳ１４０２では特徴量算出部１３０２が、ステップＳ１４０１で抽出した各特徴点に対して、対応する入力画像データを用いて特徴量を算出する。

ステップＳ１４０３ではマッチング部１３０３が、ステップＳ１４０２で算出した特徴量を用いて、ステップＳ１４０１で抽出した特徴点のマッチングを行う。

ステップＳ１４０４では位置ずれパラメータ推定部１３０４が、ステップＳ１４０１で抽出した特徴点とステップＳ１４０３でマッチングを行った結果を用いて、位置ずれパラメータを推定する。

＜ノイズ特性算出部の構成と処理＞
図１５は、ノイズ特性算出部１１０２の構成例を示すブロック図である。ノイズ特性算出部１１０２は、平坦領域検出部１５０１、平坦領域抽出部１５０２、およびノイズ量推定部１５０３を有する。

平坦領域検出部１５０１は画像取得部５０１から入力された複数の入力画像データにおいて画素値が均一である領域を検出する。ここで、画素値が均一である領域とは、画素の位置や入力画像データの番号が変わっても、画素値が大きく変化しない領域のことである。自然画像は平坦な画素値を持つ領域を有する場合が多いので、本実施形態ではこのような領域を検出して利用することで、入力画像データのノイズ特性を推定する。水平方向、垂直方向の幅がそれぞれH、Kの平坦領域が存在するとし、m番目の入力画像データのh、kの位置の画素値をI_mhkとしたとき、平坦領域は式９で表されるばらつきE_hkを最小とするh,kを探索することで検出できる。

平坦領域抽出部１５０２は平坦領域検出部１５０１が検出した平坦領域の画素値を、各入力画像データから抽出しノイズ量推定部１５０３に送る。ここで、平坦領域検出部１５０１によって探索された平坦領域の位置が(h,k)である場合、平坦領域は水平位置が[h,h+H-1]、垂直位置が[k,k+K-1]の領域である。

ノイズ量推定部１５０３は平坦領域抽出部１５０２が抽出した平坦領域の画素値に基づいて入力画像データのノイズ量を推定する。ここで推定するノイズ量とは固定パターンノイズの分散とランダムノイズの分散である。ランダムノイズの分散σ² _Rは抽出された平坦領域の画素値I’mhkを用いて式10の計算を行うことによって推定することができる。ここでmは画像の番号を表し[1,M]の範囲を持ち、h,kは抽出平坦領域上の位置を表し、それぞれ[1,H],[1,K]の範囲を持つものとする。

また、ランダムノイズの分散σ² _Rと固定パターンノイズの分散σ² _Fの和σ² _R+σ² _Fは、式１１の計算を行うことによって推定できる。

固定パターンノイズの分散σ² _Fは式１１から式１０を引いて得られる式１２を計算することで推定できる。

このようにしてノイズ量推定部１５０３で算出されたノイズ量は、ノイズ特性としてフィルタ決定部５０４に出力される。

図１６を用いてノイズ特性算出処理の流れの一例を説明する。

ステップＳ１６０１では平坦領域検出部１５０１が複数の入力画像データから各画像データの画素値が共に均一である領域を検出する。

ステップＳ１６０２では平坦領域抽出部１５０２が、ステップＳ１６０１で検出した平坦領域の画素値を入力画像データから抽出する。

ステップＳ１６０３ではノイズ量推定部１５０３が、ステップＳ１６０２で抽出した平坦領域の画素値を用いて入力画像データのノイズ特性を推定する。

以上、本実施形態によれば、あらかじめ取得した固定パターノイズデータ、入力画像データの位置ずれ情報及びノイズ特性を用いることなく、入力元画像データに含まれる固定パターンノイズを低減することが可能となる。

なお、本実施形態においては、入力画像データの位置ずれ情報とノイズ特性との両方を推定する例について説明したが、一方の情報は既知である場合には、他方の情報を推定する処理のみを行なってもよい。

＜実施形態３＞
実施形態１及び実施形態２では、固定パターンノイズ低減処理に固定パターンノイズデータを用いない構成であった。しかし、撮像装置の構成によってはランダムノイズを含む固定パターンノイズデータを利用できる場合がある。ランダムノイズを含む固定パターンノイズデータは、例えば遮光した状態で撮像素子２０７を駆動し画像データを取得することで得られる。このような画像データを遮光画像データと呼ぶものとする。本実施形態においては、遮光画像データを用いることができる場合には、その遮光画像データも用いて固定パターンノイズを低減する例を説明する。

ランダムノイズを含まない完全な固定パターンノイズデータが得られる場合、入力画像データから固定パターンノイズを減算することで容易に固定パターンノイズを除去できる。しかしながら、ランダムノイズを含む場合、上述の処理を行うとランダムノイズが増加してしまう。実施形態３では、ランダムノイズを含む固定パターンノイズデータが利用できる場合において、ランダムノイズを増加させることなく入力画像データの固定パターンノイズをより大きく低減することを可能とする。

＜遮光画像を用いた固定パターンノイズ低減の原理＞
式１３はMAP法に基づいて定式化した固定パターンノイズ低減処理である。I_m、B_kはそれぞれ観測画像に相当する入力画像データと遮光画像データを表す。また、M、Kはそれぞれ入力画像データと遮光画像データの枚数を表す。f_mは位置ずれフィルタに相当する画像データを表す。L’、N’_FはMAP法による推定で得られる位置ずれなし原画像データと固定パターンノイズを、σ² _F、σ² _Rは固定パターンノイズとランダムノイズの分散を表す。

式１４は式１３をフーリエ変換により周波数空間の問題に置き換えたものである。

式１４の右辺は２乗の項のみからなるので、右辺を極小とするパラメータL,N_Fは、右辺の微分値を0とする。すなわち、L’,N’_Fは式１５、式１６を満たす。

式１５に式１６で求まるN_Fを代入することで式１７が得られる。

すなわち、入力画像データI_m、遮光画像データB_k、制御ないし計測することで得られた位置ずれフィルタf_mを、式１７に基づいて計算することで、固定パターンノイズが低減された推定原画像データL’を得る事が出来る。

＜画像処理部の構成と処理＞
図１７は実施形態３の画像処理部１１４の構成例を表すブロック図である。実施形態３では実施形態１に対して、遮光画像取得部１７０１が追加されている点が異なる。また、フィルタ決定部５０４及びノイズ低減部５０５が、式６と式１７の差異を反映した処理に変更されている。

遮光画像取得部１７０１は撮像部１１３によって生成された遮光画像データを、バス１１０を介して取得し、ノイズ低減部５０５に出力する。遮光画像データは式１７のB_kに相当する。

フィルタ決定部５０４は、位置ずれ情報とノイズ特性とから、入力画像データと遮光画像データとに適用することで原画像データを分離することができる画像分離フィルタをそれぞれ生成する。実施形態３において原画像推定処理の演算は式１７で表されるので、n番目の入力画像データI_nに適用される画像分離フィルタg_Inと、全ての遮光画像データB_k(k=1〜K)に適用される画像分離フィルタg_Bは、それぞれ式１８、式１９のようになる。

ノイズ低減部５０５は、入力画像データと遮光画像データとに対して、それぞれ対応する画像分離フィルタを適用し推定原画像データを生成する。生成された推定原画像データは画像出力部５０６に出力されバス１１０に出力される。実施形態３において原画像推定処理の演算は式１７で表されるので、ノイズ低減部５０５は式２０の演算を行うことで、周波数空間での推定原画像L’を生成する。これを逆フーリエ変換することで推定原画像を得る。

図１８は実施形態３の画像処理の流れの一例である。

実施形態３では実施形態１に対して、ステップＳ１８０２が追加されている点が異なる。また、ステップＳ６０４がステップＳ１８０２に、ステップＳ６０５がステップＳ１８０３に変更されている。

ステップＳ１８０１では遮光画像取得部１７０１が複数の遮光画像データを取得する。なお、遮光画像データは一つであってもよい。

ステップＳ１８０２ではフィルタ決定部５０４が、位置ずれ情報とノイズ特性とから、入力画像データと遮光画像データに適用することで原画像データを分離することができる画像分離フィルタを生成する。

ステップＳ１８０３ではノイズ低減部５０５が、入力画像データと遮光画像データに画像分離フィルタを適用し推定原画像データを生成する。

以上、本実施形態によれば、ランダムノイズを含む固定パターノイズデータが得られる場合において、より高精度に入力元画像データに含まれる固定パターンノイズを低減することが可能となる。

＜その他の実施形態＞
上記の各実施形態においては、撮像部を有する撮像装置を例に挙げて説明したが、本実施形態は撮像部で得られた画像データのノイズを低減する画像処理装置においても適用することができる。画像処理装置は、上記の各実施形態における画像処理部に相当する。もちろん、画像処理装置は撮像装置に内蔵されてもよい。また、本発明は、撮像装置で撮像した撮像データをネットワーク上の他の画像処理装置が受信し、ノイズ低減処理を行なうような形態においても適用することができる。

本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (12)

1. 複数の画像データにおける同一画素位置で概略同じ値を持つような固定パターンノイズを低減する画像処理装置であって、
   同一の被写体を撮像して得た複数の画像データを取得する画像取得手段と、
   前記画像データ間の被写体像の位置ずれ情報を取得する位置ずれ情報取得手段と、
   前記位置ずれ情報に基づいて前記複数の画像データにそれぞれ対応する線形フィルタを決定する決定手段と、
   前記決定した線形フィルタを前記複数の画像データにそれぞれ適用することにより、前記画像データにおけるノイズを低減するノイズ低減手段と
   を有することを特徴とする画像処理装置。
2. 前記決定手段は、前記位置ずれを有する前記複数の画像データが観測された時に確率的に最も起こり得る前記固定パターンノイズと前記被写体像の組を、前記複数の画像データから算出するフィルタとして、前記フィルタを決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記複数の画像データにおけるノイズの分散を取得する分散取得手段をさらに有し、
   前記決定手段は、前記位置ずれ情報と前記分散とに基づいて前記フィルタを決定することを特徴とする請求項２に記載の画像処理装置。
4. 前記分散取得手段は、前記複数の画像データに含まれる同一画素位置で画像データごとに概略異なる値を持つようなノイズの分散と、前記固定パターンノイズの分散とを前記ノイズの分散として取得する請求項３に記載の画像処理装置。
5. 前記分散取得手段は、前記複数の画像データにおける平坦領域の画素値に基づいて前記ノイズの特性を算出することを特徴とする請求項３または４に記載の画像処理装置。
6. 前記決定手段は、前記決定したフィルタを周波数空間のフィルタのデータに変換し、
   前記ノイズ低減手段は、周波数空間の画像データに変換された複数の画像データに前記周波数空間のフィルタのデータを適用することでノイズを低減することを特徴とする請求項１から５のいずれか一項に記載の画像処理装置。
7. 前記ノイズ低減手段は、ノイズ低減された周波数空間の画像データを実空間の画像データに変換する請求項６に記載の画像処理装置。
8. 前記位置ずれ情報取得手段は、前記複数の画像データにおける特徴点群のマッチングにより前記位置ずれ情報を算出することを特徴とする請求項１乃至７のいずれか一項に記載の画像処理装置。
9. 遮光された撮像素子で撮像して得た遮光画像データを取得する遮光画像取得手段をさらに有し、
   前記決定手段は、さらに前記遮光画像データに対応するフィルタを決定し、
   前記ノイズ低減手段は、前記遮光画像データに対応するフィルタを前記遮光画像データにさらに適用することにより、前記複数の画像データにおけるノイズを低減することを特徴とする請求項１から８のいずれか一項に記載の画像処理装置。
10. 前記請求項１乃至９のいずれか一項に記載の画像処理装置を内蔵することを特徴とする撮像装置。
11. 複数の画像データにおける同一画素位置で概略同じ値を持つような固定パターンノイズを低減する画像処理方法であって、
    同一の被写体を撮像して得た複数の画像データを取得する画像取得ステップと、
    前記画像データ間の被写体像の位置ずれ情報を取得する位置ずれ情報取得ステップと、
    前記位置ずれ情報に基づいて前記複数の画像データにそれぞれ対応する線形フィルタを決定する決定ステップと、
    前記決定した線形フィルタを前記複数の画像データにそれぞれ適用することにより、前記画像データにおけるノイズを低減するノイズ低減ステップと
    を有することを特徴とする画像処理方法。
12. コンピュータを請求項１から９のいずれか１項に記載の画像処理装置として機能させるためのプログラム。

Images