JP5932485B2 - ノイズリダクション装置及びノイズリダクション方法 - Google Patents

Description

本発明は、たとえばデジタルビデオカメラ等により撮影された動画の映像信号に対して、時間方向にフィルタ処理を施すことでノイズを低減するノイズリダクション処理技術に関し、それを適用したノイズリダクション装置及びノイズリダクション方法に関する。

従来、撮像機器の画質向上のために、様々なノイズリダクションの方法が開発されている。映像のノイズリダクション技術は、大きく分けて空間方向にフィルタリング処理を施す空間フィルタ型ノイズリダクションと、時間方向にフィルタリング処理を施す時間フィルタ型ノイズリダクションがある。

時間フィルタ型ノイズリダクションは、理想的には映像の空間周波数成分の劣化が生じないため、解像感を維持したままノイズを低減できるという利点がある。時間フィルタ型ノイズリダクションに関しては、被写体や前段の画像処理に応じて処理を切り替える技術が多く提案されている。

特許文献１では、被写体に動きがある場合に発生する動きボケ劣化を抑制した時間フィルタ型ノイズリダクションを提案している。動きボケ劣化を避けるため、被写体の動きベクトルに応じてノイズリダクションを切り替えている。

特許文献２では、ノイズリダクション処理の前段のフレームレート変換処理に応じて、ノイズの分散が一定になるように時間ノイズリダクションの係数を変更している。

特開２００３−３３３３７０号公報 特開２０１０−１４７７７４号公報

特許文献１や特許文献２に記載された従来技術では、被写体や画像処理に適応的なノイズリダクションを行っているが、ノイズ自体のちらつきを考慮していないという課題がある。動画ノイズにおいては、ノイズ自体の時間的なちらつきがノイズの知覚量を決める大きな要因となる。例えば、24fpsのノイズを伴う動画像と、その各フレームを静止画として見た場合とを見比べると、動画として見た方がノイズのちらつきが目につき、ノイズを強く感じる。このように、信号としては同量のノイズがのっている場合でも、ノイズの時間特性、たとえばノイズの変化する時間周波数などが異なれば、人間が知覚するノイズ量も大きく異なる。これは、人間の視覚特性として５〜１０Hz程度のちらつきに対して感度が高く、６０Hz以上になると感度がほぼ０になるという、バンドパス型の性質があるためである。

ノイズの時間特性は、ISO感度などの撮影条件、撮像センサの温度などに依存するため、撮影ごとに異なる。そのため、被写体の動きや前段の画像処理が同じでも、ノイズ自体の時間特性が異なれば、ノイズリダクション処理を切り変える必要がある。

本発明は上記従来例に鑑みてなされたもので、撮影した映像と、ノイズの時間特性と、視覚の時間応答特性とに基づき、人間が知覚しやすい周波数帯域のノイズ成分を抑圧しつつ、Ｓ／Ｎを改善し、動画像においてもノイズが知覚されにくいよう動画像を処理するノイズリダクション装置及びノイズリダクション方法を提供することを目的とする。

上記目的を達成するために本発明は以下の構成を備える。すなわち、入力映像信号の時間的なノイズ特性を取得するノイズ特性取得手段と、
前記入力映像信号と、前記ノイズ特性取得手段により取得された時間的なノイズ特性と、視覚の時間応答特性とに基づいて、前記入力映像信号に対する時間方向のノイズリダクションに用いるフィルタを生成するフィルタ設計手段と、
前記入力映像信号に対し、前記フィルタ設計手段により生成されたフィルタを用いて時間方向のノイズリダクション処理を行うフィルタ処理手段とを有し、
前記ノイズ特性取得手段は、露光することなく撮影することにより取得される映像信号から前記時間的なノイズ特性を取得するか、予め取得された複数の時間的なノイズ特性から、撮影条件に応じたノイズ特性を取得する。

あるいは他の側面によれば、本発明は、ノイズ信号の時間周波数特性と撮影した映像信号の時間周波数特性とにそれぞれ視覚の時間周波数特性を反映させたノイズ信号及び映像信号、またはノイズ信号及び映像信号それぞれの時間周波数特性を出力する視覚特性反映手段と、
前記視覚特性反映手段による出力に基づいてウィナーフィルタを生成する生成手段と、
生成された前記ウィナーフィルタで前記映像信号をフィルタ処理するフィルタ処理手段と
を備える。

本発明では、撮影映像とノイズの時間特性及び視覚の時間応答特性に基づき、人間が知覚しやすい周波数帯域のノイズ成分を抑圧しつつ、Ｓ／Ｎが改善するようにフィルタを設計する。本発明によれば、撮影ごとに異なるノイズの時間特性に適応的な、ノイズが知覚されにくいノイズリダクション処理を施すことができる。

実施形態１に係る撮像機器の構成の一例を示すブロック図。 実施形態１のノイズリダクション処理部の構成の一例を示すブロック図。 実施形態１のノイズリダクション処理部の動作を示すフローチャート図。 視覚特性の模式図。 ノイズの時間特性と映像の時間特性との関係の一例を示す模式図。 視覚特性を反映させた後の、ノイズの時間特性と映像の時間特性との関係の一例を示す模式図。 実施形態２のノイズ特性取得部の構成の一例を示すブロック図。 実施形態２のノイズ特性データ選択部にて参照する参照テーブルの一例を示す模式図。 実施形態３の映像特性取得部の一例を示すブロック図。 実施形態４のフィルタ設計部の一例を示すブロック図。

［実施形態１］
本実施形態は、ノイズの時間特性及び視覚の時間周波数応答に基づき、時間方向ノイズリダクション処理のフィルタを設計する。具体的には、撮像機器のノイズの時間特性を取得し、時間視覚特性を乗算したノイズ特性と、ノイズのない理想的な映像の推定値とからウィナーフィルタを設計する。ノイズの時間特性は撮影時の条件に応じて一般に異なるため、撮影時のノイズ及び映像特性に応じた適応的なフィルタをノイズリダクションに適用できる。また、本発明では、フィルタ設計の際に視覚の時間応答特性を考慮するため、映像を人間の目で見た際にノイズリダクション効果があがるようにフィルタが設計される。

図１は、本発明における画像処理装置の一実施形態である。撮像部101は、ズームレンズ、フォーカスレンズ、ぶれ補正レンズ、絞り、シャッター、光学ローパスフィルタ、iRカットフィルタ、カラーフィルタ、及び、CMOSやCCDなどのセンサなどから構成され、被写体の光量を検知する。
A/D変換部102は、被写体の光量をデジタル値に変換する。信号処理部103は、変換したデジタル値にデモザイキング処理、ホワイトバランス処理、ガンマ処理などを行う。その後、ノイズリダクション処理部105では、映像信号中のノイズ除去を行い、デジタル映像信号を生成する。D/A変換部104は、デジタル映像信号に対しアナログ変換を行う。エンコーダ部106は、デジタル映像信号をMpegなどのファイルフォーマットに変換する処理を行う。メディアインターフェース107は、パーソナルコンピュータ（PC）やその他メディア（例えば、ハードディスク、メモリーカード、CFカード、SDカード、USBメモリ）につなぐためのインターフェースである。CPU108は、各構成の処理全てに関わり、ROM109やRAM110に格納された命令を順に読み込み、解釈し、その結果に従って処理を実行する。また、ROM109とRAM110は、その処理に必要なプログラム、データ、作業領域などをCPU108に提供する。撮像系制御部111は、フォーカスを合わせる、シャッターを開く、絞りを調節するなどの、CPU108から指示された撮像系の制御を行う。操作部112は、ボタンやモードダイヤルなどが該当し、これらを介して入力されたユーザ指示を受け取る。キャラクタージェネレーション部113は、文字やグラフィックなどのコードの入力に対応した画像データを生成する。表示部114としては、一般的には液晶ディスプレイが広く用いられており、キャラクタージェネレーション部113やD/A変換部104から受け取った撮影画像や文字画像の表示を行う。また、表示部114はタッチスクリーン機能を有していても良く、その場合は、ユーザ指示を操作部111の入力として扱うことも可能である。なお、装置の構成要素は上記以外にも存在するが、本発明の主眼ではないので、説明を省略する。全部の実施形態で処理の対象となる映像信号はＡ／Ｄ変換部102によりディジタル化されたディジタル映像信号であり、これを映像信号と呼ぶ。この映像信号はディジタル信号であり、メモリ等にディジタルデータとして保存することができる。以下では映像信号やノイズ信号の保存などと記載する場合、それら信号の元となるディジタルデータが保存される。

＜ノイズリダクション処理部105の構成＞
図２は、図１のノイズリダクション処理部105の構成を示した概略構成図である。以下では、各処理部の概略について述べる。ノイズ特性取得部201では、撮像されたディジタル映像信号（撮影映像信号と呼ぶ）Vにのるノイズ信号の時間周波数特性（単に特性あるいは時間特性とも呼ぶ）Nを取得する。ノイズ特性Nは、ノイズの時間周波数特性を示す信号（ノイズ特性信号）である。ここで、撮影映像信号Vとは、ノイズリダクションを適用する対象となる映像信号であり、撮像機器により撮影された映像信号である。撮影映像信号Vはノイズを含んだ映像信号である。本実施形態では、ノイズ信号の特性として、映像信号そのものを取得するので本実施形態ではノイズ特性とはノイズのみを含む映像信号である。なお本発明はこれに限定されない。映像信号以外の特性を用いてフィルタを設計する場合は、実施形態４に記述する。映像特性取得部202では、撮影映像信号V及び取得されたノイズ信号の時間特性Nとから、ノイズレスの理想的な映像信号Sを推定する。ここで取得したいのは撮影した映像信号の時間周波数特性を示す映像特性信号であり、その信号として理想的な映像信号Sが推定される。次に、視覚特性反映部203では、取得されたノイズ特性N及び映像信号Sに対して視覚の時間周波数応答特性（時間視覚特性あるいは時間周波数視覚特性ともいう）をかけ、視覚対応映像信号Svtf及び視覚対応ノイズ特性Nvtfを得る。フィルタ設計部204では、視覚特性を考慮した映像信号Svtf及びノイズ特性Nvtfを入力とし、ノイズリダクションフィルタaを設計する。フィルタ処理部205では、撮影映像信号Vに対して、フィルタ設計部203にて設計されたフィルタaを適用し、撮影映像信号のノイズを低減する。

本実施形態におけるノイズリダクション処理部105の動作の概略を、図３のフローチャートを用いて説明する。この手順は上述したフィルタaを決定し、それを用いて映像信号のフィルタ処理をする手順である。

ステップS301では、フィルタの設計に用いるノイズ特性を取得する。本実施形態では、ノイズの特性としてノイズ映像信号Nを取得する。ステップS301では、被写体を写さずに撮影を行うことで、ノイズのみの映像信号Nを取得する。本ステップの動作はノイズ特性取得部201にて行われ、その動作については後述する。

ステップS302では、ノイズがのっていない理想的な映像信号Sを取得する。本実施形態では、ノイズ特性N及び撮影映像信号Vを用いて理想的な映像信号Sを推定する。本ステップで取得された理想的な映像信号Sは、フィルタ設計部204で最適なノイズリダクションフィルタを設計するのに用いられる。ステップS302の動作は、映像特性取得部202にて行われ、詳細な動作は後述する。

ステップS303では、取得したノイズ特性すなわち映像信号N、及び理想的な映像信号Sに対して視覚の時間応答特性をかけ、ノイズ特性Nvtfと、映像信号Svtfとを得る。これにより、後段のフィルタ設計部204にて、人間の視覚感度を考慮した最適なフィルタを設計できる。本ステップの動作は視覚特性反映部203にて行われ、具体的な処理に関しては後述する。

ステップS304では、映像信号Svtfとノイズ特性Nvtfの特性から、好適なノイズリダクション結果を得られるよう、フィルタaを設計する。本実施形態では、ノイズリダクションフィルタをウィナーフィルタとして設計する。具体的には、視覚対応映像信号Svtfに視覚対応ノイズ信号Nvtfを付加した映像信号w=Svtf+Nvtfに対してフィルタaをかける場合を想定し、その結果と、視覚対応映像信号Svtfとの平均二乗誤差が最小となるように、フィルタaを設計する。本ステップの動作は、フィルタ設計部204にて行われ、具体的な処理に関しては後述する。

ステップS305では、ステップS304により設計されたフィルタaを撮影映像信号Vに適用することでノイズリダクション処理を行う。本ステップの動作は、フィルタ処理部205にて行われる。

＜ノイズ特性取得部201の動作＞
以下では、ノイズ特性取得部201の動作について詳細に述べる。ノイズリダクション処理部105の入力映像信号にのっているノイズは、その撮影条件、撮像センサの温度、前段の画像処理回路などに応じて、その時間特性が変化することが知られている。そのため、ノイズ特性取得部201では、撮影条件に応じて異なるノイズの時間特性を撮像センサから取得する。具体的には、カメラの撮影パラメータを撮影時の条件に設定したのち、レンズカバーを閉じた状態で露光せずに一定時間撮影を行う。ノイズ特性の取得は、たとえば操作者がレンズカバーを閉じてから操作部112によりノイズ特性の取得指示与えることをトリガとして開始される。そして、たとえばあらかじめ定めた時間にわたり映像信号がノイズ特性としてノイズ特性取得部201に入力される。以上の操作により撮影された映像には被写体が含まれないから、その映像信号はノイズ信号のみでありそこからノイズ特性のみを取得できる。以下では、このノイズ取得操作により得られたノイズ映像信号をN(x,y,t)と表記する。ここでｘ，ｙはたとえばフレーム中における画素の位置を示し、ｔは時間経過例えばフレーム番号を示すものと考えてもよい。ノイズの時間特性（時間周波数特性）とは、フレーム中の各画素位置に現れるノイズあるいはその平均値の周波数特性であるということもできる。

＜映像特性取得部202の構成＞
映像特性取得部202は、撮影映像信号V及び取得されたノイズ信号の時間特性Nとから、映像信号の特性を示す信号としてノイズレスの理想的な映像信号Sを推定する。ここで、撮影映像信号Vとは、フィルタ処理部205でフィルタ処理される映像信号である。本実施形態では、スペクトルサブトラクション法により映像信号Sを推定するが、本発明はこれに制限されない。

以下では、映像Sの推定処理について具体的に述べる。スペクトルサブトラクション法では、撮影映像信号Vからノイズ特性Nのスペクトルの差分をとることで、理想的な映像信号Sの推定を行う。具体的には、理想的な映像信号Sの時間方向フーリエ変換結果Sfft(x,y,f)は、

として表される。ここで、Nfft(x,y,f)はノイズ特性Nの時間方向フーリエ変換結果、Vfft(x,y,f)は撮影映像信号Vの時間方向フーリエ変換結果であり、argSfftはSfftの位相である。また、αは0以上1以下の係数であり、ノイズ低減量を設定するパラメータである。

以上得られたSfftを逆フーリエ変換することで、理想的な映像の推定値Sが得られる。

＜視覚特性反映部203の動作＞
視覚特性反映部203では、ノイズ特性取得部201で取得されたノイズ特性N(x,y,t)及び、映像特性取得部202で取得された映像信号S(x,y,t)に対して、視覚の時間周波数応答特性をかける。ここで、視覚の時間周波数応答特性は図４のような応答をしており、例えば以下の式により表現される。

ここで、fは時間周波数を表し、単位はHzである。このように視覚の時間周波数応答特性は、60Hz以上の刺激にほとんど感度がないバンドパスの形状をもつ。

本実施形態では、前記インパルス応答をもつフィルタvtfをノイズ特性N及び映像Sに対してたたみ込み演算を行う。具体的には、以下の式により、ノイズ特性Nvtf及び映像信号Svtfが得られる。

ここで、vtf(i)はフィルタvtfの係数を表す。また、フィルタvtfは、例えば時間周波数応答特性VTF(f)（図４参照）を逆フーリエ変換して得てもよい。ここで上式は離散的なディジタル動画のノイズ特使及び映像信号であり、ｘ，ｙはそれぞれ、たとえば１フレーム中における画素の位置を表し、ｔは時間、たとえば所与のフレームレートを持つ映像中のフレーム番号を表すものと考えてもよい。

このように、視覚の応答特性を考慮する効果について、図５及び図６を用いて以下に説明する。図５は、視覚特性を考慮していない理想的な映像信号S及びノイズ特性Nの周波数特性の概念図である。視覚特性を考慮せずにフィルタ設計を行った場合、フィルタ設計部204では、信号(S+N)に対して適用したノイズリダクション（NR）処理を施した結果と、映像信号Sとの平均二乗誤差が最小になるようにNRフィルタが設計される。しかしながら、例えば図５に示した60Hzの点線より右側の領域では、人間の目の感度はほとんど0になるため、ノイズ成分が残っていても人間の目にはあまり知覚されない。それにもかかわらず、視覚特性を考慮しない手法では、時間周波数の全領域を対象としてフィルタが設計される。このため、前記手法により得られるフィルタは、人間の視覚に対して必ずしも最適とはなっておらず、ノイズ低減効果がさほど得られない場合がある。他方、本発明では、図６に示す様に、視覚特性をかけられたノイズ特性Nvtf及び映像信号Svtfに最適なフィルタを設計する。これらのパワースペクトルには、視覚特性に基づいた重みづけがされている。このように、本発明に係るノイズリダクションでは、知覚感度に応じて重みづけされたノイズ成分を除去するようにフィルタが設計される。このため、人間が目視した場合のノイズ低減効果が高いように、ノイズリダクション処理を適用することができる。

なお、本例では視覚特性とノイズ特性及び映像特性との畳み込みをそれぞれ行っている（数式３参照）。しかしたとえばそれぞれの特性をパワースペクトルであらわすならば、視覚特性と視覚特性とノイズ特性及び映像特性とを乗ずることで、視覚特性を反映させることができる。

＜フィルタ設計部204＞
フィルタ設計部204では、視覚特性反映部203で得られたノイズ特性Nvtf及び映像信号Svtfを用いて、フィルタを設計する。具体的には、映像信号Svtfにノイズ特性Nvtfが加算された映像信号wに対して、映像信号ｗと映像信号Svtfとの二乗誤差が最小になるようなフィルタaを設計する。具体的なフィルタの算出方法を以下に説明する。

まず、映像信号wに対して求めるフィルタaがかけられた出力信号Xを考える。出力信号Xは以下の式であらわされる。

ここで、Nはフィルタaのフィルタ長であり、フィルタvtfのフィルタ長と同一であるとする。また、映像信号wは、w(x,y,t) = Svtf(x,y,t) + Nvtf(x,y,t)として表される。

次に、フィルタ処理済み出力信号X(x,y,t)と視覚特性を織り込み済みの理想的な映像信号Svtf(x,y,t)との平均二乗誤差の期待値は以下のように表現される。

ここで、Eは期待値を表す。

前記平均二乗誤差は、フィルタ係数ai(i=1,2,...N)に関する導関数が同時に0となるとき、最小値をとる。よって、平均二乗誤差Ｅ{ｅ²(t)}をaで微分すると、

となる。よって、フィルタaが、

を満たすとき、平均二乗誤差が最小となる。

ここで、E{w(x,y,t-j)w(x,y,t-i)}=r(j-i)、E{w(x,y,t-i)Svtf(x,y,t)}=p(i)とおく。例えば、映像信号wの１フレームの画像サイズを縦Hピクセル、横Wピクセルとすると、r(j-i)、p(i)は具体的に以下の様に計算できる。なお、r(j-i)、p(i)の計算方法は、これに制限されない。

また、

とおくと、フィルタaは、
Ra = p
a = R^-1p
と表わされる。ここでｒの意味は、理想的な映像信号Svtfにノイズ信号Nvtfを加えて得た映像信号ｗに含まれる２つのフレーム間で対応する画素値の積のフレームにおける平均値である。行列RはN個のフレームを対象として、すべてのiとjとの組み合わせで決まるrの行列である。またpの意味は、映像信号ｗと理想的な映像信号Svtfとにそれぞれ含まれるフレーム間で対応する画素値の積のフレームにおける平均値である。行列pはN個のフレームを対象として、着目フレームの映像信号Svtfと、それよりiフレーム前の映像信号ｗとの組み合わせで決まるpの行列である。上述したようにSvtf，Nvtfは撮影した映像信号から得ることができるから、フィルタaもそれら信号から得ることができる。

本実施形態では、上式であらわされるフィルタaを、ノイズの時間特性に最適なフィルタとして、フィルタ設計部204は生成して保存する。このフィルタaは後段のフィルタ処理部205におけるノイズリダクション処理に用いられる。すなわち信号処理部103から出力される撮影映像信号Vに対してフィルタaを適用したノイズ除去済み映像信号Sがフィルタ処理部205から出力される。フィルタの適用は、たとえば信号wを映像信号Xで置換した数式４の計算を行うことで実現できる。

以上のようにして、本実施形態によれば、人の視覚の時間周波数応答特性を加味したノイズフィルタを作成してフィルタリングすることで、人の視覚の特定に適したノイズ除去処理を実現できる。

［実施形態２］
実施形態１では、ノイズ特性を取得するために、撮像機器のレンズカバーを閉じた状態で撮影するという方法をとっており、撮影ごとにノイズ特性を取得するという工程が必要となっていた。これに対して本実施形態では、フィルタ設計の際に、予め取得しておいたノイズ特性を利用する。本実施形態では、ノイズ特性に影響の大きいISO感度に応じてあらかじめノイズの特性を幾通りか取得しておき、それを用いてウィナーフィルタを設計する。本実施形態では、撮影ごとにノイズ特性を撮影する工程が省略でき、スムーズに撮影を行えるという利点がある。以下では、実施形態1との差分に関して説明する。

＜ノイズ特性取得部201の構成＞
以下では、ノイズ特性取得部201の動作について詳細に述べる。図7は、ノイズ特性取得部201の構成を示す模式図である。まず、撮影パラメータ取得部701では、撮影時のISO感度を取得する。次に、ノイズ特性データ選択部702では、撮影パラメータ取得部701で取得されたISO感度に対応するノイズ特性データN(x,y,t)を取得する。ノイズ特性データ選択部702の具体的な処理は、例えば、図8に示すようなノイズ特性テーブルを参照し、取得した撮影パラメータに関連付けられたノイズ特性データを取得してもよい。例えばISO感度800のノイズ特性データを取得する場合、図8のテーブルを参照し、ISO感度800に関連付けられたノイズ特性データが格納されているアドレス0xccccccを取得し、当該アドレスへアクセスすればよい。

なお、撮影パラメータ取得部701及びノイズ特性データ選択部702で用いる撮影パラメータは、必ずしもISO感度である必要はない。例えば、センサの温度やシャッタースピードなど、他の撮影条件でもよいし、それらの組み合わせでもよい。

フィルタ設計部では、設定されたパラメータ、たとえばISO感度に対応したノイズ特性データNを取得してそれをフィルタの生成のために用いる。フィルタの生成の方法は実施形態１と同様である。また、ヒトの視覚の時間周波数応答特性を反映したノイズ特性Nvtfを、複数通りのパラメータ値に関連付けて求めておき、それをあらかじめテーブルに保存しておいてもよい。こうすることで、実施形態１の数式３の上段の計算を、ノイズ特性データの保存時に実行するため、フィルタ生成時に行う必要がなくなり、所要時間の短縮化に貢献する。

［実施形態３］
実施形態１では、ノイズのない理想的な映像信号Sを、入力映像信号Vとノイズ特性Nとから推定していた。そのため、実施形態１では映像信号Sに対する推定誤差が不可避であり、映像によっては十分なノイズリダクション効果が得られない場合があった。そこで本実施形態では、ノイズのない理想的な映像信号Sを、事前に撮影されたリファレンス映像とし、ウィナーフィルタを設計する。ここで、リファレンス映像とは、ノイズが極力少ない映像のことである。例えば、明るい環境光のもとで低感度撮影された映像などがそれにあたる。本実施形態では、映像の特性に影響の大きいフレームレート及びシャッタースピードに応じてリファレンス映像をあらかじめ取得しておく。以下では、実施形態１からの差分に関して説明する。

＜映像特性取得部202の構成＞
映像特性取得部202では、ノイズレスのリファレンス映像SをROM109から取得する。図９は、映像特性取得部202の構成を表す模式図である。まず、撮影パラメータ取得部901では、撮影時のフレームレート及びシャッタースピードを取得する。次に、リファレンス映像取得部902では、前記取得されたフレームレート及びシャッタースピードに応じたリファレンス映像信号を、ROM109から取得する。その際は、フレームレート及びシャッタースピードの値と、リファレンス映像のアドレスが対応した参照テーブルを用いてデータを取得してもよい。こうして得られたリファレンス映像信号が実施形態１の理想的な映像信号Sとして用いられ、ノイズ特性取得部201で得られたノイズ特性N、あらかじめ与えられたヒトの視覚の時間周波数応答特性VTFと併せて、実施形態１の手順でノイズフィルタが生成される。また、保存するノイズ特性にVTFを適用してNvtfを計算したうえでパラメータ値と関連付けテーブルに保存しておいてもよい。こうすることで、実施形態１の数式３の下段の計算を、理想的な映像信号の保存時に実行するため、フィルタ生成時に行う必要がなくなり、所要時間の短縮化に貢献する。またパラメータとしてフレームレート及びシャッタースピードを用いる場合、撮像装置のこれらパラメータが固定されているなら理想的な映像信号Sも対応するひとつだけを保持すればよく、フィルタ生成のためにはその信号Sを用いる。

なお、撮影パラメータ取得部901及びノイズ特性データ選択部902で用いる撮影パラメータは、フレームレート及びシャッタースピードに限定されない。例えば、撮影シーンにより好適なリファレンス映像を用いるために、映像信号Vの動きベクトル等を用いてもよい。これにより、被写体の動きなどの映像の動きが類似したリファレンス映像をフィルタの設計に用いることができ、より良好なノイズリダクション効果が得られる。

また、実施形態２と本実施形態とを組み合わせ、ノイズ特性をパラメータ（例えばISO感度）に基づいて取得し、理想的な映像信号もパラメータ（たとえばフレームレート及びシャッタースピード）に基づいて取得するように構成することもできる。さらに保存された映像信号とノイズ特性とにそれぞれVTFを適用しておくこともできる。このように構成することで、撮影パラメータからNvtfおよびSvtfを取得でき、これらからノイズつき映像信号wも得られ、信号w及びSvtfからフィルタaを得ることができる。したがって、実施形態２と実施形態３との組み合わせにより、理想的な映像信号やノイズ特性を取得するための事前の撮影を行うことなく、ヒトの視覚特性にマッチし、撮影パラメータに適したノイズフィルタaを生成できる。

［実施形態４］
以上の実施形態では、ノイズの特性と映像の特性を用いて、ウィナーフィルタによりノイズリダクションに用いるフィルタを設計していた。しかしながら、前記方法では、フィルタの設計処理に多大な演算量がかかるという課題があった。そこで本実施形態では、予め設計され保存されたフィルタから、好適なノイズリダクションフィルタを選択する。具体的には、フィルタ設計に用いた映像特性及びノイズ特性と、撮影時の映像特性及びノイズ特性に関して、視覚特性を考慮した類似度を算出し、最も類似度が高いフィルタを選択する。ここで、ノイズリダクションのフィルタ候補は、予め前記実施形態と同様の方法で取得されていてもよいし、人手により設定されたフィルタでもよい。

また、実施形態１乃至３では、ノイズ特性及び映像特性を映像データ（映像信号）として取得していた。しかしながら、映像データはデータ量が膨大であるため、後段のフィルタ設計処理で計算量が多大になるという課題があった。そこで本実施形態では、ノイズ特性及び映像特性を映像データではなく、周波数パワースペクトルとして取得し、フィルタの設計を行う。以下に述べるように、本実施形態では周波数パワースペクトルを一次元データとして保持するため、データ量と計算量が削減される。以下では、実施形態１との差分について述べる。

＜ノイズ特性取得部201の動作＞
以下では、ノイズ特性取得部201の動作について詳細に述べる。ノイズ特性取得部201ではまず、撮影条件に応じて異なるノイズの時間特性を撮像センサから取得する。具体的には、カメラの撮影パラメータを撮影時の条件に設定したのち、露光せずに一定時間撮影を行う。さらに、得られたノイズ映像N(x,y,t)を時間方向にフーリエ変換し、空間方向に平均化することでノイズ特性を得る。具体的には、以下の式でノイズ特性Np(f)が得られる。

ここで、Nfftはノイズ映像Nを時間軸方向にフーリエ変換したものである。

＜映像特性取得部202の構成＞
映像特性取得部202では、撮影映像信号V及び前記取得されたノイズ信号の時間特性Nとから、ノイズレスの理想的な映像Sの時間周波数パワースペクトルの平均値を推定する。本実施形態では、スペクトルサブトラクション法により、理想的な映像信号Sの周波数パワースペクトルを推定する。映像信号Sの平均周波数パワースペクトルSp(f)は、具体的には以下の式で取得される。

として表される。ここで、Vfft(x,y,f)は撮影映像Vの時間方向フーリエ変換結果である。また、αは0以上1以下の係数であり、ノイズ低減量を設定するパラメータである。またNp(f)はノイズ特性Nのパワースペクトルである。

＜視覚特性反映部203＞
以下では、視覚特性反映部203の動作について述べる。本実施形態では、周波数空間領域で視覚特性をかけることで、ノイズ特性Npv及び映像特性Spvに対して視覚特性を反映する。

＜フィルタ設計部204＞
以下では、フィルタ設計部204の構成について述べる。図１０は、フィルタ設計部204の構成を示す模式図である。ここで、フィルタ候補の総数をMとし、それぞれF1、F2...FMと表す。フィルタ設計情報取得部1001では、各フィルタの設計に用いた映像特性に視覚特性を反映させたSf1, Sf2...SfMと、ノイズ特性に視覚特性を反映させたNf1, Nf2...NfMとをROM109から取得する。以下では、フィルタFmに対応する映像特性に視覚特性を反映させたデータをSfm、ノイズ特性に視覚特性を反映させたデータをNfm(m=1,2...M)として表記する。Sfm及びNfmは、数式１２のSpv及びNpvと同様の方法で、フィルタFmの生成のために取得されたデータである。ノイズ特性類似度算出部1002では、取得したNf1, Nf2...NfMと、ノイズ特性取得部201にて取得したNpvとの類似度をそれぞれ計算する。また、映像特性類似度算出部1003では、前記取得したSf1, Sf2...SfMと、映像特性取得部202により取得されたSpvとの類似度を計算する。さらに、フィルタ選択部1004では、前記２つの類似度から、最適なフィルタを選択する。以下では、ノイズ特性類似度算出部1002、映像特性類似度算出部1003、フィルタ選択部1004の動作について詳細に述べる。なおSfmは、たとえばパラメータや撮影対象を変えて撮影して得た理想的な映像信号である。たとえば被写体の動きの緩やかな映像や、被写体の動きの速い映像など、動きベクトルの異なる複数の映像信号を取り混ぜて用いることが望ましい。またNfmは、たとえば撮影環境に応じて選択できるように、異なる環境（例えば温度）などにおいて、実施形態1の方法で撮影して得ることができる。これら信号を用いて、実施形態１の手順であらかじめフィルタを生成しておく。

また本例ではSfmとNfmのインデックスｍを共通の値としているが、SfkとNfmというように、異なるインデックスの組み合わせでフィルタを生成してもよい。この場合には生成したフィルタFnは、インデックスkとmとの組み合わせに対して関連付けられる。

＜ノイズ特性類似度算出部1002＞
以下では、ノイズ特性類似度算出部1002の動作について述べる。ノイズ特性類似度算出部1002では、フィルタm設計時のノイズ特性に視覚特性を反映させたデータNfm (m=1,2...M)と、撮影時のノイズ特性に視覚特性を反映させたデータNpvとの差の絶対値を類似度として算出する。具体的には、NfmとNpvとの類似度DNmは、

として表現される。

なお、類似度算出方法は、差の量の算出に制限されない。例えば、相関係数などの他の手法を用いてもよい。

＜映像特性類似度算出部1003＞
以下では、映像特性類似度算出部1003の動作について述べる。映像特性類似度算出部1003では、フィルタm設計時の映像特性に視覚特性を反映させたデータSfm (m=1,2...M)と、撮影時の映像特性に視覚特性を反映させたデータSpvとの差の絶対値を類似度として算出する。具体的には、映像特性Sfmと映像特性Spvとの類似度DSmは、

として表現される。

なお、類似度算出方法は、誤差量の算出に制限されない。例えば、相関係数などの他の手法を用いてもよい。

＜フィルタ選択部1004＞
フィルタ選択部1004では、ノイズ特性類似度算出部1002で得た、ノイズ特性の視覚特性を考慮した類似度DNm(m=1,2...M)と、映像特性類似度算出部1003で得た、映像特性の視覚特性を考慮した類似度DSm(m=1,2...M)とを用いて、フィルタごとにスコアを計算する。そして、そのスコアが最良のフィルタを選択する。本実施形態では、DSmとDNmとの和により各フィルタのスコアを計算し、そのスコアが最小となるものを最適フィルタとして出力する。具体的には、最適なフィルタFnを与えるフィルタ番号nは、DSmとDNmとの和が最小となるようなmの値であり、以下の式により選択される。

このようにして、類似度が高い特性に基づいて生成されたフィルタFｎが、使用するフィルタとして決定される。

なお、各フィルタのスコアの算出方法は、DSmとDNmの和に限定されない。たとえば、DSmとDNmの重み付き線形和などでもよい。

以上の手順により本実施形態によれば、フィルタを撮影の都度生成する必要がないので、撮影パラメータ及びヒトの視覚特性に適したフィルタを、少ない計算量すなわち軽い処理負荷で決定することができる。

なお、DsmとDNmのインデックスmとして互いに異なる値を用いるのであれば、DSkとDNmとの和が最小となるようなkとmの組み合わせに関連付けられたFnが選択される。

［その他の実施例］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (9)

1. 入力映像信号の時間的なノイズ特性を取得するノイズ特性取得手段と、
   前記入力映像信号と、前記ノイズ特性取得手段により取得された時間的なノイズ特性と、視覚の時間応答特性とに基づいて、前記入力映像信号に対する時間方向のノイズリダクションに用いるフィルタを生成するフィルタ設計手段と、
   前記入力映像信号に対し、前記フィルタ設計手段により生成されたフィルタを用いて時間方向のノイズリダクション処理を行うフィルタ処理手段と
   を有し、
   前記ノイズ特性取得手段は、露光することなく撮影することにより取得される映像信号から前記時間的なノイズ特性を取得するか、予め取得された複数の時間的なノイズ特性から、撮影条件に応じたノイズ特性を取得することを特徴とするノイズリダクション装置。
2. 前記時間的なノイズ特性に応じたノイズ信号を前記入力映像信号から差し引くか、ノイズが少ない状態で取得し、保存された映像信号を取得するかによってノイズレス映像信号を取得する映像特性取得手段をさらに有し、
   前記フィルタ設計手段は、前記ノイズレス映像信号と前記視覚の時間応答特性とに基づいて特定される第１信号と、前記入力映像信号と前記視覚の時間応答特性とに基づいて特定される第２信号とを用いて前記フィルタを設計する
   ことを特徴とする請求項１に記載のノイズリダクション装置。
3. 前記フィルタ設計手段は、前記時間的なノイズ特性と前記入力映像信号から特定される時間的な映像特性とのそれぞれに対して前記視覚の時間応答特性のたたみ込み演算もしくは乗算を行うことで、視覚特性が反映されたノイズ特性及び映像特性を取得し、当該視覚特性が反映されたノイズ特性及び映像特性を用いて前記フィルタを生成することを特徴とする請求項１または２に記載のノイズリダクション装置。
4. 前記フィルタ設計手段は、前記視覚の時間応答特性が反映されたノイズ特性及び前記視覚の時間応答特性が反映された入力映像信号を用いてウィナーフィルタを生成し、
   前記フィルタ処理手段は、前記フィルタ設計手段により生成された該ウィナーフィルタをノイズリダクションに用いるフィルタとすることを特徴とする請求項１乃至３のいずれか一項に記載のノイズリダクション装置。
5. 前記フィルタ設計手段は、予め生成された複数のフィルタを、前記複数のフィルタそれぞれを生成する際に基とした、前記視覚の時間応答特性が反映されたノイズ特性及び前記視覚の時間応答特性が反映された映像特性と関連付けて保存し、前記入力映像信号の前記視覚の時間応答特性が反映された映像特性及びノイズ特性との類似度が高い前記ノイズ特性及び映像特性に関連付けられたフィルタをノイズリダクションに用いるフィルタとして選択することを特徴とする請求項１乃至３のいずれか一項に記載のノイズリダクション装置。
6. ノイズ信号の時間周波数特性と撮影した映像信号の時間周波数特性とにそれぞれ視覚の時間周波数特性を反映させたノイズ信号及び映像信号、またはノイズ信号及び映像信号それぞれの時間周波数特性を出力する視覚特性反映手段と、
   前記視覚特性反映手段による出力に基づいてウィナーフィルタを生成する生成手段と、
   生成された前記ウィナーフィルタで前記映像信号をフィルタ処理するフィルタ処理手段と
   を備えることを特徴とするノイズリダクション装置。
7. 入力映像信号の時間的なノイズ特性を取得するノイズ特性取得工程と、
   前記入力映像信号と、前記ノイズ特性取得工程により取得された時間的なノイズ特性と、視覚の時間応答特性とに基づいて、前記入力映像信号に対する時間方向のノイズリダクションに用いるフィルタを生成するフィルタ設計工程と、
   前記入力映像信号に対し、前記フィルタ設計工程により生成されたフィルタを用いて時間方向のノイズリダクション処理を行うフィルタ処理工程と
   を有し、
   前記ノイズ特性取得工程では、露光することなく撮影することにより取得される映像信号から前記時間的なノイズ特性を取得するか、予め取得された複数の時間的なノイズ特性から、撮影条件に応じたノイズ特性を取得することを特徴とするノイズリダクション方法。
8. ノイズ信号の時間周波数特性と撮影した映像信号の時間周波数特性とにそれぞれ視覚の時間周波数特性を反映させたノイズ信号及び映像信号、またはノイズ信号及び映像信号それぞれの時間周波数特性を出力する視覚特性反映工程と、
   前記視覚特性反映工程による出力に基づいてウィナーフィルタを生成する生成工程と、
   生成された前記ウィナーフィルタで前記映像信号をフィルタ処理するフィルタ処理工程と
   を有することを特徴とするノイズリダクション方法。
9. 請求項１乃至６のいずれか一項に記載のノイズリダクション装置の各手段としてコンピューターを機能させるためのプログラム。

Images