JP5052319B2

JP5052319B2 - 動画ノイズ低減処理装置、動画ノイズ低減処理プログラム、動画ノイズ低減処理方法

Info

Publication number: JP5052319B2
Application number: JP2007325156A
Authority: JP
Inventors: 成剛温
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2007-12-17
Filing date: 2007-12-17
Publication date: 2012-10-17
Anticipated expiration: 2027-12-17
Also published as: US20100253811A1; WO2009078312A1; JP2009147822A; US8248491B2

Description

本発明は、デジタル化された時系列的な画像信号のノイズを低減するための動画ノイズ低減処理装置、動画ノイズ低減処理プログラム、動画ノイズ低減処理方法に関する。

撮像系は、撮像素子と、この撮像素子に付随するアナログ回路およびＡ／Ｄコンバータなどと、を備えて構成されている。この撮像系から得られる映像信号は、一般にノイズ成分を含んでおり、このノイズ成分は、固定パターンノイズとランダムノイズとに大別することができる。

上記固定パターンノイズは、欠陥画素などに代表されるような、主に撮像素子に起因するノイズである。

一方、ランダムノイズは、撮像素子およびアナログ回路において発生するものであり、ホワイトノイズ特性に近い特性を有している。

後者のランダムノイズに関しては、例えば特開２００１−１５７０５７号公報において、静的に与えられる定数項ａ，ｂ，ｃと濃度値に変換した信号レベルＤとを用いて、ノイズ量Ｎを、Ｎ＝ａｂ^cDにより関数化し、この関数から信号レベルＤに対するノイズ量Ｎを推定して、推定したノイズ量Ｎに基づきフィルタリングの周波数特性を制御する技術が開示されていて、これにより、信号レベルに対して適応的なノイズ低減処理が行われるようになっている。

また、特開２００５−３０３８０２号公報には、ノイズモデルの簡略化を行って、ノイズ量を算出する技術が記載されている。

一方、動画像におけるランダムノイズの低減処理技術としては、時間軸方向の相関性を用いて巡回型のノイズ低減処理を行う技術がある。

このような技術として、例えば、特開２０００−２０９５０７号公報には、現フレーム（あるいは、現フィールド。以下では、フレームおよびフィールドを代表して、フレームのみについて述べることにする）の画像信号と前フレームの画像信号との差分処理を行った信号値に基づき、巡回型ノイズ低減処理における帰還係数を制御する技術が記載されている。ここに、帰還係数とは、大まかにいって、現フレームの画像信号のノイズ低減処理を行う際に、前フレームが寄与する割合を示すものである。より詳しくは、差分処理を行って得られた信号値が小さい場合にはランダムノイズであると判定して、帰還係数を大きくすることにより（前フレームの寄与分を大きくすることにより）ノイズ量の少ない画像信号を得るようにし、一方、差分処理を行って得られた信号値が大きい場合には動き成分であると判定して、帰還係数を小さくすることにより（前フレームの寄与分を小さくすることにより）残像の少ない画像信号を得るようにしている。この技術は、差分処理を行った信号値に基づき制御を行うものであるために、計算量が少なく低コスト化を図ることが可能であるという利点がある。
特開２００１−１５７０５７号公報特開２００５−３０３８０２号公報特開２０００−２０９５０７号公報

しかしながら、ノイズ量は撮影時の温度，露光時間，ゲインなどの要因により動的に変化するために、上記特開２００１−１５７０５７号公報に記載されたような静的な定数項を用いる技術では、撮影時のノイズ量に合わせた関数化に対応することができず、ノイズ量の推定精度が劣ってしまっていた。

また、上記特開２０００−２０９５０７号公報に記載された技術では、動き成分とランダムノイズとの分離精度が十分でないために、高品位な画像信号を得ることができないという課題がある。

本発明は上記事情に鑑みてなされたものであり、ランダムノイズを高精度に低減して高品位な画像信号を得ることができる動画ノイズ低減処理装置、動画ノイズ低減処理プログラム、動画ノイズ低減処理方法を提供することを目的としている。

上記の目的を達成するために、本発明による動画ノイズ低減処理装置は、デジタル化された時系列的な画像信号のノイズを低減するための動画ノイズ低減処理装置において、上記画像信号に対して空間ノイズ低減処理を行う空間ノイズ低減手段と、上記空間ノイズ低減処理が少なくとも行われた画像信号を保存する画像信号保存手段と、上記空間ノイズ低減手段により空間ノイズ低減処理が行われた処理対象の画像信号と上記画像信号保存手段に保存されている上記処理対象の画像信号よりも過去の画像信号とに基づいて時間ノイズ低減処理を行う時間ノイズ低減手段と、を具備し、上記時間ノイズ低減手段は、時間ノイズモデルに基づき、上記過去の画像信号を用いて、上記空間ノイズ低減処理後の処理対象の画像信号における注目画素の時間ノイズ量を画素毎に検出する時間ノイズ量検出手段と、上記時間ノイズ量検出手段により画素毎に検出された時間ノイズ量に基づいて、上記空間ノイズ低減処理後の処理対象の画像信号の注目画素にノイズ除去処理を画素毎に行う時間ノイズ除去処理手段と、を有して構成されたものである。

また、本発明による動画ノイズ低減処理プログラムは、コンピュータに、デジタル化された時系列的な画像信号のノイズを低減させるための動画ノイズ低減処理プログラムであって、コンピュータに、上記画像信号に対して空間ノイズ低減処理を行う空間ノイズ低減ステップと、上記空間ノイズ低減処理が少なくとも行われた画像信号を保存する画像信号保存ステップと、上記空間ノイズ低減ステップにより空間ノイズ低減処理が行われた処理対象の画像信号と上記画像信号保存ステップにより保存された上記処理対象の画像信号よりも過去の画像信号とに基づいて時間ノイズ低減処理を行う時間ノイズ低減ステップと、を実行させるためのプログラムであり、上記時間ノイズ低減ステップは、時間ノイズモデルに基づき、上記過去の画像信号を用いて、上記空間ノイズ低減処理後の処理対象の画像信号における注目画素の時間ノイズ量を画素毎に検出する時間ノイズ量検出ステップと、上記時間ノイズ量検出ステップにより検出された時間ノイズ量に基づいて、上記空間ノイズ低減処理後の処理対象の画像信号の注目画素にノイズ除去処理を画素毎に行う時間ノイズ除去処理ステップと、を含むステップである。

さらに、本発明による動画ノイズ低減処理方法は、デジタル化された時系列的な画像信号のノイズを低減するための動画ノイズ低減処理方法であって、上記画像信号に対して空間ノイズ低減処理を行う空間ノイズ低減ステップと、上記空間ノイズ低減処理が少なくとも行われた画像信号を保存する画像信号保存ステップと、上記空間ノイズ低減ステップにより空間ノイズ低減処理が行われた処理対象の画像信号と上記画像信号保存ステップにより保存された上記処理対象の画像信号よりも過去の画像信号とに基づいて時間ノイズ低減処理を行う時間ノイズ低減ステップと、を含み、上記時間ノイズ低減ステップは、時間ノイズモデルに基づき、上記過去の画像信号を用いて、上記空間ノイズ低減処理後の処理対象の画像信号における注目画素の時間ノイズ量を画素毎に検出する時間ノイズ量検出ステップと、上記時間ノイズ量検出ステップにより検出された時間ノイズ量に基づいて、上記空間ノイズ低減処理後の処理対象の画像信号の注目画素にノイズ除去処理を画素毎に行う時間ノイズ除去処理ステップと、を含む方法である。

本発明の動画ノイズ低減処理装置、動画ノイズ低減処理プログラム、動画ノイズ低減処理方法によれば、ランダムノイズを高精度に低減して高品位な画像信号を得ることが可能となる。

以下、図面を参照して本発明の実施の形態を説明する。

［実施形態１］
図１から図７は本発明の実施形態１を示したものであり、図１は動画ノイズ低減処理装置が適用された撮像装置の構成を示すブロック図、図２は空間ノイズ低減部の構成を示すブロック図、図３は時間ノイズ低減部の構成を示すブロック図、図４は時間ノイズ検出部の構成を示すブロック図、図５は複数のゲインにおける信号値に対する時間ノイズ量の関係を示す線図、図６は簡略化されたノイズモデルの様子を示す線図、図７は簡略化されたノイズモデルに基づき補間処理を行ってノイズ量を算出する例を示す線図である。

本実施形態は、動画ノイズ低減処理装置が適用された撮像装置についての実施形態となっている。

図１に示すように、この撮像装置は、レンズ系１００と、絞り１０１と、ＣＣＤ１０２と、増幅部１０３と、Ａ／Ｄ変換部１０４と、バッファ部１０５と、空間ノイズ低減部１０６と、時間ノイズ低減部１０７と、出力部１０８と、過去バッファ部１０９と、ＲＯＭ１１０と、ＲＡＭ１１１と、制御部１１２と、外部Ｉ／Ｆ部１１３と、温度センサ部１１４と、を有している。

レンズ系１００は、被写体光像をＣＣＤ１０２の撮像面上に結像するものである。

絞り１０１は、レンズ系１００からの光束の通過範囲を規定することにより、ＣＣＤ１０２の撮像面上に結像される被写体光像の明るさを調節するものである。

ＣＣＤ１０２は、結像された被写体光像を光電変換して、アナログの画像信号として出力するものである。なお、ここでは、ＣＣＤ１０２から出力される画像信号は、時系列的に連続して撮影することにより得られた動画像信号であるものとする。

このＣＣＤ１０２は、増幅部１０３、Ａ／Ｄ変換部１０４、バッファ部１０５、空間ノイズ低減部１０６、時間ノイズ低減部１０７を介して、出力部１０８へ接続されている。空間ノイズ低減部１０６は、過去バッファ部１０９へ接続されている。過去バッファ部１０９は、時間ノイズ低減部１０７へ接続されている。ＲＯＭ１１０は、空間ノイズ低減部１０６および時間ノイズ低減部１０７へ接続されている。ＲＡＭ１１１は、時間ノイズ低減部１０７と双方向に接続されている。制御部１１２は、増幅部１０３、Ａ／Ｄ変換部１０４、バッファ部１０５、空間ノイズ低減部１０６、時間ノイズ低減部１０７、出力部１０８、過去バッファ部１０９、ＲＯＭ１１０、ＲＡＭ１１１、外部Ｉ／Ｆ部１１３、および温度センサ部１１４と双方向に接続されていて、これらを制御するようになっている。なお、温度センサ部１１４は、ＣＣＤ１０２の近傍に配置されたものとなっている。

次に、この図１に示したような構成の撮像装置の作用について、画像信号の流れに沿って説明する。

外部Ｉ／Ｆ部１１３に含まれる録画ボタンが押圧されると、レンズ系１００および絞り１０１を介して結像された被写体光像が、ＣＣＤ１０２により所定時間間隔（本実施形態においては、所定時間間隔として１／３０秒を想定しているものとする）毎に順次光電変換されて、アナログの動画像信号として出力される。なお、この動画像信号には、公知の相関二重サンプリング処理が施されているものとする。また、本実施形態においては、ＣＣＤ１０２として、ＲＧＢの各原色フィルタをそれぞれの前面に配置して構成される三板ＣＣＤを想定している。さらに、以下においては、時系列に出力される複数の画像信号（動画像信号）を単に画像信号と表記し、１枚の画像信号を１フレームと表記することにする（ただし、フレームに替えてフィールドであっても以下の説明を同様に適用することができるが、上述したように、フレームおよびフィールドを代表して、以下では単に「フレーム」と述べることにする）。

このアナログの画像信号は、増幅部１０３により所定のゲイン分だけ増幅された後に、Ａ／Ｄ変換部１０４によりデジタル信号へ変換されて、バッファ部１０５へ転送され記憶される。

バッファ部１０５は、１フレームの画像信号を記録可能な記憶容量のものとして構成されている。従って、フレーム画像が次々と撮影されるに伴って、バッファ部１０５に記憶されているフレーム画像は順次上書きされることになる。

このバッファ部１０５内に記憶されているフレーム画像信号は、制御部１１２の制御に基づいて、所定のフレーム時間間隔（フレームレート）で間歇的に空間ノイズ低減部１０６へ転送される。

空間ノイズ低減部１０６は、空間ノイズ低減手段であって、空間領域のノイズモデルである空間ノイズモデルに基づいて、バッファ部１０５から転送されてきた１フレームの画像信号に対して空間方向のノイズ低減処理（空間ノイズ低減処理）を行う。空間ノイズ低減部１０６は、空間ノイズ低減処理後の画像信号を、時間ノイズ低減部１０７および過去バッファ部１０９へ転送する。

これと同時に、画像信号保存手段である過去バッファ部１０９は、制御部１１２の制御に基づいて、順次に保存する１つ以上のフレーム画像信号の上書き処理を行う。すなわち、過去バッファ部１０９は、所定枚数のフレーム画像を記憶可能な記憶容量を備えており、この過去バッファ部１０９には、空間ノイズ低減処理後の過去フレーム画像信号が所定枚数だけ保存されている。そして、過去バッファ部１０９は、保持している所定枚数の過去フレーム画像信号の内の、最も古い画像信号に、新しい画像信号を上書きする処理を行う。

時間ノイズ低減部１０７は、時間ノイズ低減手段であって、過去バッファ部１０９に保存されている１つ以上の過去フレームの画像信号を用いて、空間ノイズ低減部１０６から転送されてきた１フレームの画像信号に対して時間方向のノイズ低減処理（時間ノイズ低減処理）を行う。時間ノイズ低減部１０７は、制御部１１２の制御に基づいて、時間ノイズ低減処理後の画像信号を出力部１０８へ転送する。

出力部１０８は、転送されてきた画像信号を、例えばモニタ等の表示装置に表示したり、あるいは磁気ディスクやメモリカード等の記録媒体に記録し保存したりする。

次に、図２を参照して、空間ノイズ低減部１０６の構成の一例について説明する。

この空間ノイズ低減部１０６は、空間ノイズ量検出手段たる空間ノイズ検出部２０１と、空間ノイズ除去処理手段たる空間ノイズ除去部２０２と、を有している。

バッファ部１０５は、空間ノイズ検出部２０１および空間ノイズ除去部２０２を介して、時間ノイズ低減部１０７へ接続されている。バッファ部１０５は、空間ノイズ除去部２０２へも接続されている。空間ノイズ除去部２０２は、過去バッファ部１０９へも接続されている。ＲＯＭ１１０は、空間ノイズ検出部２０１へ接続されている。制御部１１２は、空間ノイズ検出部２０１および空間ノイズ除去部２０２と双方向に接続されていて、これらを制御するようになっている。

この空間ノイズ低減部１０６は、ノイズ量の算出を行う。ノイズ量算出は、様々な方法によって行うことができる。その一例として、本実施形態では、上述した特開２００５−３０３８０２号公報に記載されている公知のノイズ量算出方法で、ノイズ量の算出を行う場合を説明する。

すなわち、まず空間ノイズ検出部２０１が、制御部１１２の制御に基づいて、画像信号が撮像されたときのＣＣＤ１０２の温度、増幅部１０３による増幅率を示すゲインなどの情報を用いて、これらの情報に対応するノイズモデルをＲＯＭ１１０から抽出する。そして、空間ノイズ検出部２０１は、抽出したノイズモデルと、バッファ部１０５からの画像信号値と、に基づいて、画素毎に空間方向のノイズ量（空間ノイズ量）を検出し、検出した空間ノイズ量を空間ノイズ除去部２０２へ転送する。

空間ノイズ除去部２０２は、制御部１１２の制御に基づいて、空間ノイズ検出部２０１からの画素毎の空間ノイズ量の情報と、バッファ部１０５からの画像信号値と、に基づいて、空間ノイズ除去処理を行う。そして、空間ノイズ除去部２０２は、空間ノイズ低減後の画像信号を、時間ノイズ低減部１０７および過去バッファ部１０９へ転送する。なお、本実施形態においては、色信号（ＲＧＢ）毎に空間ノイズ低減処理を行うものとする。

続いて、図３を参照して、時間ノイズ低減部１０７の構成の一例について説明する。

この時間ノイズ低減部１０７は、時間ノイズ量検出手段たる時間ノイズ検出部３０１と、時間ノイズ除去処理手段たる時間ノイズ除去部３０２と、を有している。

空間ノイズ低減部１０６は、時間ノイズ検出部３０１および時間ノイズ除去部３０２を介して出力部１０８へ接続されている。空間ノイズ低減部１０６は、時間ノイズ除去部３０２へも接続されている。過去バッファ部１０９は、時間ノイズ検出部３０１へ接続されている。ＲＯＭ１１０は、時間ノイズ検出部３０１へ接続されている。ＲＡＭ１１１は、時間ノイズ検出部３０１と双方向に接続されている。制御部１１２は、時間ノイズ検出部３０１および時間ノイズ除去部３０２と双方向に接続されていて、これらを制御するようになっている。

時間ノイズ検出部３０１は、制御部１１２の制御に基づいて、空間ノイズ低減部１０６から画素単位で転送されてきた画像信号と、過去バッファ部１０９に保存されている空間ノイズ低減処理後の１つ以上の過去の画像信号（本実施形態においては、過去バッファ部１０９は、８フレーム分の過去の画像信号を保存するようになっている）と、の類似度を検出し、検出した類似度に基づいて時間ノイズ量を推定する。そして、時間ノイズ検出部３０１は、推定した時間ノイズ量を時間ノイズ除去部３０２へ転送する。

時間ノイズ除去部３０２は、制御部１１２の制御に基づいて、時間ノイズ検出部３０１からの時間ノイズ量と、空間ノイズ低減部１０６からの画像信号と、に基づいて、時間ノイズ除去処理を行う。時間ノイズ除去部３０２は、時間ノイズ除去処理後の画像信号を出力部１０８へ転送する。

次に、図４を参照して、時間ノイズ検出部３０１の構成の一例について説明する。

この時間ノイズ検出部３０１は、代表値推定手段たる類似度検出部４０１と、代表値推定手段であり平均値算出手段たる平均算出部４０２と、時間ノイズ量算出手段たるゲイン算出部４０３と、時間ノイズ量算出手段たるパラメータ選択部４０４と、時間ノイズ量算出手段たる補間部４０５と、時間ノイズ量算出手段たる補正部４０６と、を有している。

空間ノイズ低減部１０６は、類似度検出部４０１、平均算出部４０２、パラメータ選択部４０４、補間部４０５、補正部４０６を介して時間ノイズ除去部３０２へ接続されている。過去バッファ部１０９は、類似度検出部４０１へ接続されている。ＲＡＭ１１１は、平均算出部４０２と双方向に接続されている。ゲイン算出部４０３およびＲＯＭ１１０は、パラメータ選択部４０４へ接続されている。制御部１１２は、類似度検出部４０１、平均算出部４０２、ゲイン算出部４０３、パラメータ選択部４０４、補間部４０５、補正部４０６と双方向に接続されていて、これらを制御するようになっている。

類似度検出部４０１は、制御部１１２の制御に基づいて、空間ノイズ低減部１０６からの画像信号と、過去バッファ部１０９からの空間ノイズ低減後の１つ以上の過去の画像信号と、の類似度を画素毎に判定する。ここで、類似度検出部４０１は、動き成分と分離して類似度の判定を行うために、注目画素と、過去フレーム中におけるこの注目画素と同一位置の画素と、の信号値の差分値がある閾値（Ｔｈ）以下である場合に類似度が高いと判定するようになっている。そして、類似度検出部４０１は、注目画素に対応する類似度の高い過去フレームの画素信号値を平均算出部４０２へ転送する。一方、類似度検出部４０１は、注目画素と過去フレーム中におけるこの注目画素と同一位置の画素との差分が、全ての過去フレームの画素に対して閾値（Ｔｈ）以上である場合には、類似する画素がないと判定して、その旨の情報を平均算出部４０２へ転送するようになっている。

なお、上述した閾値（Ｔｈ）は、適宜に設定可能であるが、固定した値とするに限るものではなく、動的に設定することも可能である。例えば、後述するような時間領域のノイズモデルである時間ノイズモデルに基づいて、現画像の注目画素の信号値を用いてノイズ量Ｎiを推定し、この推定したノイズ量Ｎiを閾値（Ｔｈ）として用いるようにしても構わない。

平均算出部４０２は、制御部１１２の制御に基づいて、類似度検出部４０１からの類似度情報を用いて、注目画素の信号値と、この注目画素と類似度が高いと判定された過去フレームの同一位置の画素信号値と、の平均値Ｃｏｌｏｒ＿ａｖを求める。また、平均算出部４０２は、全ての過去フレーム画像に類似する画素がない旨の情報が類似度検出部４０１から転送されてきた場合には、注目画素の信号値を平均値とするようになっている。

一方、制御部１１２は、温度センサ部１１４からＣＣＤ１０２の温度情報を取得してＲＡＭ１１１へ保存する。これにより、ＲＡＭ１１１には、過去バッファ部１０９に記憶されている過去フレーム画像信号を撮像したときの温度情報が保存されるようになっている。

そして、平均算出部４０２は、制御部１１２の制御に基づいて、過去バッファ部１０９に保存されている過去フレーム画像に対応する温度情報をＲＡＭ１１１から抽出し、抽出した温度情報と現フレーム画像の温度情報とに基づいて平均温度Ｔ＿ａｖを算出する。その後、平均算出部４０２は、制御部１１２の制御に基づいて、平均温度Ｔ＿ａｖおよび各注目画素の平均値Ｃｏｌｏｒ＿ａｖの各情報をパラメータ選択部４０４へ転送する。なお、各注目画素の平均値Ｃｏｌｏｒ＿ａｖの情報は、制御部１１２の制御に基づいて、パラメータ選択部４０４、補間部４０５、補正部４０６を介して時間ノイズ除去部３０２へも転送されるようになっている。

パラメータ選択部４０４は、制御部１１２の制御に基づいて、平均算出部４０２からの注目画素の平均値Ｃｏｌｏｒ＿ａｖに基づき信号値ＡＶを、平均算出部４０２からの平均温度Ｔ＿ａｖに基づき温度ｔを、ゲイン算出部４０３からのゲイン情報に基づきゲインｇを、それぞれ設定して、以下に説明するように時間ノイズ量を推定するようになっている。ここに、ゲイン算出部４０３は、制御部１１２の制御に基づいて、該制御部１１２を介して取得した増幅部１０３におけるゲインに基づいて、ゲイン情報を算出するものである。

図５は、ある温度ｔにおける信号値Ｖと時間ノイズ量Ｎとの関係を、３種類のゲインに対してプロットしたものである。時間ノイズ量Ｎは、図示のように、信号値Ｖに対して略２次曲線的に増加する傾向を示している。そこで、図５に示すような時間ノイズ量を２次関数を用いてモデル化（時間ノイズモデル化）すると、次の数式１に示すようになる。
［数１］
Ｎ＝Ａ×Ｖ²＋Ｂ×Ｖ＋Ｃ
ここに、Ａ、Ｂ、Ｃは温度ｔやゲインに依存する定数である。

なお、異なる温度ｔやゲインなどに応じた複数の式１を記録しておいてノイズ量を算出するのは、記録するデータ量が多くなって煩雑である。このために、本実施形態においては、上述した特開２００５−３０３８０２号公報に記載されているような公知のモデル簡略化を行うようになっている。

すなわち、まず、最大のノイズ量を与えるモデルを基準ノイズモデルに設定して、この基準ノイズモデルを図６に示すように所定数（図６に示す例においては原点を含む８つ）の代表点を有する折れ線により近似する（なお、より簡略化する場合、あるいは特定の範囲のみを近似する場合には、直線により近似することも可能である）。そして、これらの代表点の座標（信号値レベルとノイズ量との組み合わせでなる座標）をＲＯＭ１１０に記憶しておく。なお、隣接する代表点間の傾き（代表点が８つである場合には７つの傾き）は、代表点の座標から算出することができるが、演算処理を省略するために、この傾きについても予め算出してＲＯＭ１１０に記憶しておく。

すなわち、本実施形態においては、代表点の信号値レベルＬｅｖｅｌ（数式２参照）およびノイズ量Ｎｏｉｓｅ（数式３参照）と、隣接する代表点間の傾きＳｌｏｐｅ（数式４参照）と、をＲＯＭ１１０に保存するようになっている。
［数２］
Ｎｏｉｓｅ［８］＝｛Ｎ1，Ｎ2，Ｎ3，Ｎ4，Ｎ5，Ｎ6，Ｎ7，Ｎ8｝
［数３］
Ｌｅｖｅｌ［８］＝｛Ｌ1，Ｌ2，Ｌ3，Ｌ4，Ｌ5，Ｌ6，Ｌ7，Ｌ8｝
［数４］
Ｓｌｏｐｅ［７］＝｛Ｓ1，Ｓ2，Ｓ3，Ｓ4，Ｓ5，Ｓ6，Ｓ7｝
このような基準ノイズモデルに基づく基準ノイズ量の算出は、次のように行われる。まず、信号値ＡＶが基準ノイズモデルのどの区間に属するかを検索する。ここでは、例えば図７に示すように、信号値ＡＶがＬi-1とＬiとの間の区間に属するものとする。すると、パラメータ選択部４０４は、制御部１１２の制御に基づいて、信号値ＡＶが属する区間の情報をＲＯＭ１０１から検索して、補間部４０５へ転送する。次に、補間部４０５が、制御部１１２の制御に基づいて、検索された区間（Ｌi-1，Ｌi）における線形補間処理を次のように行うことにより、時間基準ノイズ量Ｎgを算出する。
Ｎg＝Ｓi-1×（ＡＶ−Ｌi-1）＋Ｎi-1
さらに、ＲＯＭ１１０には、算出した時間基準ノイズ量Ｎgを、温度ｔ（temperature）、ゲインｇ（gain）、および色信号ｃ（color）の組み合わせに応じて補正するための補正係数Ｋtgcも保存されている。一例として、ある温度ｔにおいて、ゲインが４種類（ｇ＝１〜４）、色信号がＲ，Ｇ，Ｂの３種類（ｃ＝ｒ，ｇ，ｂ）であるときの補正係数Ｋtgcを数式５に示す。
［数５］
Ｋt［４］［３］＝｛Ｋt1r，Ｋt1g，Ｋt1b
Ｋt2r，Ｋt2g，Ｋt2b
Ｋt3r，Ｋt3g，Ｋt3b
Ｋt4r，Ｋt4g，Ｋt4b ｝
このような補正係数Ｋtgcは、各ノイズモデルと基準ノイズモデルとに基づき最小２乗法により算出されたものとなっている。パラメータ選択部４０４は、温度ｔ、ゲインｇ、色信号ｃに対応する補正係数ＫtgcをＲＯＭ１１０から抽出し、補間部４０５を介して補正部４０６へ転送する。すると、補正部４０６が、制御部１１２の制御に基づいて、基準ノイズモデルに基づき補間部４０５により算出された色信号ｃの時間基準ノイズ量Ｎgに、この補正係数Ｋtgcを次の数式６に示すように乗算することにより、温度ｔおよびゲインｇにおける色信号ｃの時間ノイズ量Ｎを算出する。
［数６］
Ｎ＝Ｋtgc×Ｎg
このようにして補正部４０６により算出された時間ノイズ量Ｎは、時間ノイズ除去部３０２へ転送される。

上述したように、本実施形態においては、基準ノイズモデルに基づいて時間ノイズ量を求めるようにしたために、算出過程を簡略化して、処理の高速化や省電力化を図ることが可能となっている。

時間ノイズ除去部３０２は、制御部１１２の制御に基づいて、空間ノイズ低減部１０６からの現フレームの画像信号と、時間ノイズ検出部３０１からの時間ノイズ量Ｎおよび注目画素の平均値Ｃｏｌｏｒ＿ａｖと、に基づいて、以下に説明するように時間ノイズ除去処理を行う。

すなわち、時間ノイズ除去部３０２は、注目画素の信号値Ｃに対して、時間ノイズ量Ｎと注目画素の平均値Ｃｏｌｏｒ＿ａｖとを用いて、例えば次の数式７に示すようなコアリング演算を行うことにより、時間ノイズ低減処理をする。
［数７］
Ｃ’＝Ｃ−Ｎ／２（Ｃ＞Ｃｏｌｏｒ＿ａｖ＋Ｎ／２のとき）
Ｃ’＝Ｃｏｌｏｒ＿ａｖ（Ｃｏｌｏｒ＿ａｖ＋Ｎ／２≧Ｃ
≧Ｃｏｌｏｒ＿ａｖ−Ｎ／２のとき）
Ｃ’＝Ｃ＋Ｎ／２（Ｃ＜Ｃｏｌｏｒ＿ａｖ―Ｎ／２のとき）
時間ノイズ除去部３０２によりノイズ低減処理された画像信号Ｃ’は、制御部１１２の制御に基づいて、出力部１０８へ転送される。

なお、上述においては、８枚の過去フレームの画像信号を用いて時間ノイズ量を推定するようにしているが、これに限るものではなく、６枚あるいは４枚の過去フレーム画像信号を用いて時間ノイズ量を推定することも可能である。この場合には、時間ノイズの推定精度が幾らか低下する可能性があるが、その一方で、より高速な処理を実現することができるという利点がある。

また、上述においては、平均値Ｃｏｌｏｒ＿ａｖ（信号値ＡＶ）を求めてこの平均値に基づき時間ノイズモデルを参照して時間ノイズ量を推定しているが、これに限るものではなく、現フレームの注目画素の画素値自体に基づいて時間ノイズモデルを参照して時間ノイズ量を推定するようにしても構わない。この場合には、時間ノイズの推定精度が幾らか低下する可能性があるが、その一方で、過去の画像信号を参照する必要がなく、過去画像を保存する必要もなくなるために、より高速な処理を低コストに実現することができるという利点がある。

さらに、上述においては、時間ノイズ量を算出する際に、画像信号を撮像したときのＣＣＤ１０２の温度や、増幅部１０３のゲインなどの情報を用いているが、これらに限らず、例えば動画のフレームレートの情報を用いるようにしても構わない。このフレームレートは、フレーム同士の時間間隔を示すものであるために、フレーム同士の相関性を示す指標となる。すなわち、同一の被写体を動画撮影モードで撮像する場合、フレーム同士の時間間隔が短ければ時間的に隣接するフレーム同士の相関性が高いことになり、逆にフレーム同士の時間間隔が長ければ時間的に隣接するフレーム同士の相関性が低いことになる。そこで、フレーム同士の時間間隔が短い場合には時間ノイズ量の算出に用いる過去の画像信号のフレーム数を少なくし、フレーム同士の時間間隔が長い場合には時間ノイズ量の算出に用いる過去の画像信号のフレーム数を多くすることが考えられる。具体例を挙げれば、フレームレートが１／３０秒の場合には８枚の過去画像信号を用い、フレームレートが１／６０秒の場合には４枚の過去画像信号を用いるなどである。さらに加えて、これらの例に限らず、その他の情報を用いて時間ノイズ量を算出するようにしても構わない。

このような実施形態１によれば、まず空間ノイズモデルに基づきフレーム画像を空間ノイズ低減処理するようにしたために、同一フレーム内において定量的かつ高精度にランダムノイズを低減することができる。

さらに、空間ノイズ低減後の画像信号に対して、時間ノイズモデルに基づき時間ノイズ低減処理を行うようにしたために、空間ノイズ低減処理後に残存するノイズを高精度に低減することができる。

こうして、空間ノイズ低減処理および時間ノイズ低減処理を行うことにより、高品位な画像信号を得ることが可能となる。

また、信号値レベル、温度、ゲインなどの動的に変化する要因に対応したノイズ量の推定を、カラー撮像素子に対応して色信号毎に行うことが可能となる。そして、このように推定されたノイズ量に基づいて、温度、ゲイン、色信号毎にノイズ低減処理を行うようにしているために、ノイズ低減処理を高精度に行うことが可能となる。

加えて、基準ノイズモデルを折れ線（または直線）により近似して、この基準ノイズモデルを参照して得た基準ノイズ量から他のモデル（特定の温度、ゲイン、色信号等）に対応するノイズ量を導出するようにしているために、ハードウェアの負担を軽減することが可能となる。こうして、本実施形態によれば、カラー撮像素子に対応したノイズ低減処理を、ハードウェアの負担を軽減することと、高精度であることと、を両立しながら行うことが可能となる。

［実施形態２］
図８から図１１は本発明の実施形態２を示したものであり、図８は動画ノイズ低減処理装置が適用された撮像装置の構成を示すブロック図、図９は時間ノイズ低減部の構成を示すブロック図、図１０は時間ノイズ検出部の構成を示すブロック図、図１１は複数のゲインにおける信号値の最小差分値に対する時間ノイズ量の関係を示す線図である。

この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

本実施形態も、上述した実施形態１と同様に、動画ノイズ低減処理装置が適用された撮像装置についての実施形態となっている。

この撮像装置は、図８に示すように、実施形態１の図１に示した撮像装置とほぼ同様に構成されているが、過去バッファ部１０９が過去バッファ部１１０９に置換されている点が異なっている。また、時間ノイズ低減部１０７は、後述するように、その内部構成が実施形態１とはやや異なるものとなっている。

このような構成において、空間ノイズ低減部１０６の出力側は過去バッファ部１１０９には接続されておらず、時間ノイズ低減部１０７の出力側がこの過去バッファ部１１０９に接続されている。また、過去バッファ部１１０９の出力側は、時間ノイズ低減部１０７へ接続されている。そして、制御部１１２は、過去バッファ部１１０９と双方向に接続されていて、これも制御するようになっている。

次に、この図８に示したような構成の撮像装置の作用について、上述した実施形態１と異なる部分についてを説明する。

空間ノイズ低減部１０６は、空間ノイズ低減処理後の１フレームの画像信号を時間ノイズ低減部１０７へ転送する。

時間ノイズ低減部１０７は、画像信号保存手段である過去バッファ部１１０９に保存されている１つ以上の空間ノイズ低減処理および時間ノイズ低減処理後の過去フレームの画像信号を用いて、空間ノイズ低減部１０６から転送されてきた１フレームの画像信号に対して、動き成分とランダムノイズ成分とを分離してから、時間方向において分離されたランダムノイズの低減処理を行う。時間ノイズ低減部１０７は、制御部１１２の制御に基づいて、時間ノイズ低減処理後の画像信号を出力部１０８および過去バッファ部１１０９へ転送する。

これと同時に、過去バッファ部１１０９は、制御部１１２の制御に基づいて、順次に保存する１つ以上のフレーム画像信号の上書き処理を行う。すなわち、過去バッファ部１１０９は、所定枚数のフレーム画像を記憶可能な記憶容量を備えており、この過去バッファ部１１０９には、空間ノイズ低減処理および時間ノイズ低減処理が行われた後の過去フレーム画像信号が所定枚数だけ保存されている。そして、過去バッファ部１１０９は、保持している所定枚数の過去フレーム画像信号の内の、最も古い画像信号に、新しい画像信号を上書きする処理を行う。

次に、図９を参照して、時間ノイズ低減部１０７の構成の一例について説明する。

この時間ノイズ低減部１０７は、時間ノイズ量検出手段たる時間ノイズ検出部１３０１と、時間ノイズ除去処理手段たる時間ノイズ除去部３０２と、を有している。

空間ノイズ低減部１０６は、時間ノイズ検出部１３０１および時間ノイズ除去部３０２を介して、出力部１０８および過去バッファ部１１０９へ接続されている。空間ノイズ低減部１０６は、時間ノイズ除去部３０２へも接続されている。過去バッファ部１１０９は、時間ノイズ検出部１３０１へ接続されている。ＲＯＭ１１０は、時間ノイズ検出部１３０１へ接続されている。ＲＡＭ１１１は、時間ノイズ検出部１３０１と双方向に接続されている。制御部１１２は、時間ノイズ検出部１３０１および時間ノイズ除去部３０２と双方向に接続されていて、これらを制御するようになっている。

時間ノイズ検出部１３０１は、制御部１１２の制御に基づいて、空間ノイズ低減部１０６から画素単位で転送されてきた１フレームの画像信号と、過去バッファ部１１０９に保存されている空間ノイズ低減処理および時間ノイズ低減処理が行われた後の１つ以上の過去のフレームの画像信号との差分を算出して、算出した差分に基づいて時間ノイズ量を推定する。そして、時間ノイズ検出部１３０１は、推定した時間ノイズ量を時間ノイズ除去部３０２へ転送する。

時間ノイズ除去部３０２は、制御部１１２の制御に基づいて、時間ノイズ検出部１３０１からの時間ノイズ量と、空間ノイズ低減部１０６からの画像信号と、に基づいて、時間ノイズ除去処理を行う。時間ノイズ除去部３０２は、時間ノイズ除去処理後の画像信号を、出力部１０８および過去バッファ部１１０９へ転送する。

続いて、図１０を参照して、時間ノイズ検出部１３０１の構成の一例について説明する。

この時間ノイズ検出部１３０１は、差分値算出手段たる差分算出部５０１と、最小差分値検出部５０２と、ゲイン算出部５０３と、ノイズ量推定部５０４と、を有している。

空間ノイズ低減部１０６は、差分算出部５０１、最小差分値検出部５０２、ノイズ量推定部５０４を介して時間ノイズ除去部３０２へ接続されている。過去バッファ部１１０９は、差分算出部５０１へ接続されている。ＲＡＭ１１１は、最小差分値検出部５０２と双方向に接続されている。ゲイン算出部５０３およびＲＯＭ１１０は、ノイズ量推定部５０４へ接続されている。制御部１１２は、差分算出部５０１、最小差分値検出部５０２、ゲイン算出部５０３、ノイズ量推定部５０４と双方向に接続されていて、これらを制御するようになっている。

差分算出部５０１は、制御部１１２の制御に基づいて、過去バッファ部１１０９からの空間ノイズ低減処理および時間ノイズ低減処理が行われた後の１つ以上の過去の画像信号を用いて、空間ノイズ低減部１０６からの空間ノイズ低減処理後の画像信号に対して、画素毎に差分値Ｄを算出する。そして、差分算出部５０１は、算出した差分値Ｄを最小差分値検出部５０２へ転送する。

最小差分値検出部５０２は、制御部１１２の制御に基づいて、差分算出部５０１からの差分値Ｄを用いて、画素毎に、１つ以上の差分値Ｄの中から最小の差分値Ｄminを求める。そして、最小差分値検出部５０２は、求めた最小の差分値Ｄminをノイズ量推定部５０４へ転送する。

一方、制御部１１２は、温度センサ部１１４からＣＣＤ１０２の温度情報を取得して、取得した温度情報をノイズ量推定部５０４へ転送する。

ノイズ量推定部５０４は、制御部１１２の制御に基づいて、最小差分値検出部５０２からの画素毎の最小差分値Ｄminと、ゲイン算出部５０３からのゲインの情報と、制御部１１２からの温度情報と、に基づき時間ノイズ量を推定する。

ここに、図１１は、ある温度ｔにおける信号値の最小差分値Ｄminに対する時間ノイズ量Ｎの関係を、３種類のゲインに対してモデル化してプロットしたものである。

時間ノイズ量Ｎは、信号値の最小差分値Ｄminが０であるときは０であり、最小差分値Ｄminが増加するに従って略２次曲線的に単調増加する。そして、時間ノイズ量Ｎは、最小差分値Ｄminが、第１のゲインにおけるある差分閾値Ｄ1、第２のゲインにおけるある差分閾値Ｄ2、第３のゲインにおけるある差分閾値Ｄ3に到達したら、それぞれ一定値Ｎm1，Ｎm2，Ｎm3をとるようになっている。ノイズモデルが差分閾値を境にして一定値をとるようになっているのは、動き成分を分離するためである。

そして、図１１に示したような時間ノイズ量のモデルを、２次関数を用いて関数モデル化すると、次の数式８に示すようになる。
［数８］
Ｎ＝ａ×Ｄmin²＋ｂ×Ｄmin＋ｃ（Ｄmin＜Ｄxのとき）
Ｎ＝Ｎmx （それ以外のとき）
ここに、ａ，ｂ，ｃは温度やゲインに依存する定数である。また、Ｄxは動き検出用の差分閾値であり、第１のゲインのときにＤx＝Ｄ1、第２のゲインのときにＤx＝Ｄ2、第３のゲインのときにＤx＝Ｄ3である。さらに、Ｎmxは、差分閾値Ｄxに各対応する一定値である。そして、ａ，ｂ，ｃは、Ｎ≦Ｎmxをも満たすように定められている。

このようなノイズモデルは、ＲＯＭ１１０に予め保存されている。

そして、ノイズ量推定部５０４は、制御部１１２からの温度情報およびゲインに基づき、対応するノイズモデルをＲＯＭ１１０から抽出して、最小差分値検出部５０２からの最小差分値Ｄminに対応するノイズ量を推定する。

なお、数式８に示すような関数を温度やゲインに応じて複数記録すると、必要なメモリ量が膨大になるとともに、さらに演算を行うことによりノイズ量を算出するのは処理的に煩雑になるために、上述した実施形態１と同様に、最大のノイズ量を与えるモデルを基準ノイズモデルに設定して、この基準ノイズモデルを所定数の折れ線で近似し、この折れ線に基づき補間して算出される基準ノイズ量を、温度やゲインに基づいて補正するように構成することも可能である。

このようなノイズモデルを用いたノイズ量の推定を行うことにより、高速な処理を低コストかつ省電力に実現することができる。

その後、ノイズ量推定部５０４は、推定して得られた時間ノイズ量Ｎを時間ノイズ除去部３０２へ転送する。

続く、時間ノイズ除去部３０２は、制御部１１２の制御に基づいて、時間ノイズ検出部１３０１からの画素毎の時間ノイズ量の情報と、空間ノイズ低減部１０６からの空間ノイズ低減処理後の画像信号と、に基づいて、時間ノイズ除去処理を行う。時間ノイズ除去部３０２は、時間ノイズ除去処理後の画像信号を、出力部１０８および過去バッファ部１１０９へ転送する。

なお、上述においては、空間ノイズ低減処理後の現フレームの画像信号と、空間ノイズ低減処理および時間ノイズ低減処理後の過去の画像信号と、の差分値に基づき、ノイズ量を推定して、時間ノイズ低減処理を行うように構成されていたが、このような構成に限定される必要はない。例えば、上述した第１実施形態と同様に、空間ノイズ低減処理後の現フレームの画像信号と、空間ノイズ低減処理および時間ノイズ低減処理後の過去の画像信号と、の平均値に基づき、図４〜図７に示したようにノイズ量を推定して、時間ノイズ低減処理を行うように構成することも可能である。

このような実施形態２によれば、上述した実施形態１と同様に、まず空間ノイズモデルに基づき、動き成分の分離を考慮することなくフレーム画像を空間ノイズ低減処理するようにしたために、同一フレーム内におけるランダムノイズの低減効果を安定的に得ることができる。

さらに、空間ノイズ低減後の画像信号に対して、時間方向において動き成分とランダムノイズとを高精度に分離することができるために、空間ノイズ低減処理後に残存するノイズを高精度に低減することができて、高品位な画像信号を得ることが可能となる。

なお、ノイズモデルを導入することにより、互換性が高くなり、多様な動画撮像システムに適応することが可能となる利点がある。

また、上述した各実施形態においては三板ＣＣＤを想定していたが、単板ＣＣＤあるいは二板ＣＣＤであっても、三板化後の映像信号に対して上述した技術を同様に適用することができる。また、撮像素子はＣＣＤに限らず、ＣＭＯＳやその他のタイプの撮像素子であっても構わないことはもちろんである。

さらに、上述では動画ノイズ低減処理装置についてを主として説明したが、同様の処理をコンピュータに行わせるための動画ノイズ低減処理プログラムであっても構わないし、同様の処理を行うための動画ノイズ低減処理方法であっても良い。

なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

本発明の実施形態１における動画ノイズ低減処理装置が適用された撮像装置の構成を示すブロック図。上記実施形態１における空間ノイズ低減部の構成を示すブロック図。上記実施形態１における時間ノイズ低減部の構成を示すブロック図。上記実施形態１における時間ノイズ検出部の構成を示すブロック図。上記実施形態１において、複数のゲインにおける信号値に対する時間ノイズ量の関係を示す線図。上記実施形態１において、簡略化されたノイズモデルの様子を示す線図。上記実施形態１において、簡略化されたノイズモデルに基づき補間処理を行ってノイズ量を算出する例を示す線図。本発明の実施形態２における動画ノイズ低減処理装置が適用された撮像装置の構成を示すブロック図。上記実施形態２における時間ノイズ低減部の構成を示すブロック図。上記実施形態２における時間ノイズ検出部の構成を示すブロック図。上記実施形態２において、複数のゲインにおける信号値の最小差分値に対する時間ノイズ量の関係を示す線図。

符号の説明

１００…レンズ系
１０１…絞り
１０２…ＣＣＤ
１０３…増幅部
１０４…Ａ／Ｄ変換部
１０５…バッファ部
１０６…空間ノイズ低減部（空間ノイズ低減手段）
１０７…時間ノイズ低減部（時間ノイズ低減手段）
１０８…出力部
１０９…過去バッファ部（画像信号保存手段）
１１０…ＲＯＭ
１１１…ＲＡＭ
１１２…制御部
１１３…外部Ｉ／Ｆ部
１１４…温度センサ部
２０１…空間ノイズ検出部（空間ノイズ量検出手段）
２０２…空間ノイズ除去部（空間ノイズ除去処理手段）
３０１…時間ノイズ検出部（時間ノイズ量検出手段）
３０２…時間ノイズ除去部（時間ノイズ除去処理手段）
４０１…類似度検出部（代表値推定手段）
４０２…平均算出部（代表値推定手段、平均値算出手段）
４０３…ゲイン算出部（時間ノイズ量算出手段）
４０４…パラメータ選択部（時間ノイズ量算出手段）
４０５…補間部（時間ノイズ量算出手段）
４０６…補正部（時間ノイズ量算出手段）
５０１…差分算出部（差分値算出手段）
５０２…最小差分値検出部
５０３…ゲイン算出部
５０４…ノイズ量推定部
１１０９…過去バッファ部（画像信号保存手段）
１３０１…時間ノイズ検出部（時間ノイズ量検出手段）

Claims

デジタル化された時系列的な画像信号のノイズを低減するための動画ノイズ低減処理装置において、
上記画像信号に対して、空間ノイズ低減処理を行う空間ノイズ低減手段と、
上記空間ノイズ低減処理が少なくとも行われた画像信号を保存する画像信号保存手段と、
上記空間ノイズ低減手段により空間ノイズ低減処理が行われた処理対象の画像信号と、上記画像信号保存手段に保存されている上記処理対象の画像信号よりも過去の画像信号と、に基づいて、時間ノイズ低減処理を行う時間ノイズ低減手段と、
を具備し、
上記時間ノイズ低減手段は、
時間ノイズモデルに基づき、上記過去の画像信号を用いて、上記空間ノイズ低減処理後の処理対象の画像信号における注目画素の時間ノイズ量を画素毎に検出する時間ノイズ量検出手段と、
上記時間ノイズ量検出手段により画素毎に検出された時間ノイズ量に基づいて、上記空間ノイズ低減処理後の処理対象の画像信号の注目画素にノイズ除去処理を画素毎に行う時間ノイズ除去処理手段と、
を有して構成されたものであることを特徴とする動画ノイズ低減処理装置。
上記画像信号保存手段は、上記空間ノイズ低減処理と上記時間ノイズ低減処理とが少なくとも行われた画像信号を保存するものであることを特徴とする請求項１に記載の動画ノイズ低減処理装置。
上記時間ノイズ除去処理手段は、上記時間ノイズ量検出手段により画素毎に検出された時間ノイズ量に基づいて画素毎にコアリング演算を行うことにより、上記空間ノイズ低減処理後の処理対象の画像信号の注目画素にノイズ除去処理を画素毎に行うものであることを特徴とする請求項１または請求項２の何れか一項に記載の動画ノイズ低減処理装置。
上記デジタル化された時系列的な画像信号は、撮像素子により所定のフレームレートで撮像され、所定のゲインにより増幅された後にデジタル化して得られたものであり、
上記時間ノイズ量検出手段は、上記空間ノイズ低減処理後の処理対象の画像信号と、上記画像信号保存手段に保存されている１つ以上の過去の画像信号の少なくとも１つと、に基づき、上記注目画素の代表値を推定する代表値推定手段を有して構成され、
上記時間ノイズモデルは、上記代表値とノイズ量との関係をモデル化したものであって、上記画像信号が撮像されたときの上記撮像素子の温度と、上記画像信号に対するゲインと、上記時系列的な画像信号のフレームレートと、の内の少なくとも１つの情報に依存したモデルであり、
上記時間ノイズ量検出手段は、上記画像信号が撮像されたときの上記撮像素子の温度と、上記画像信号に対するゲインと、上記時系列的な画像信号のフレームレートと、の内の少なくとも１つの情報と、上記代表値推定手段により推定された注目画素の代表値と、を用いて、上記時間ノイズモデルに基づき時間ノイズ量を算出する時間ノイズ量算出手段をさらに有して構成されたものであることを特徴とする請求項３に記載の動画ノイズ低減処理装置。
上記代表値推定手段は、上記空間ノイズ低減処理後の処理対象の画像信号における注目画素と、上記画像信号保存手段に保存されている１つ以上の過去の画像信号の少なくとも１つにおけるこの注目画素に対応する画素と、の平均値を算出する平均値算出手段を有して構成されたものであり、この平均値算出手段により算出された平均値に基づき、上記代表値を推定するものであることを特徴とする請求項４に記載の動画ノイズ低減処理装置。
上記時間ノイズ低減手段は、
時間ノイズモデルに基づき、上記過去の画像信号を用いて、上記空間ノイズ低減処理後の処理対象の画像信号における注目画素の時間ノイズ量を検出する時間ノイズ量検出手段と、
上記時間ノイズ量検出手段により検出された時間ノイズ量に基づいて、上記空間ノイズ低減処理後の処理対象の画像信号の注目画素にノイズ除去処理を行う時間ノイズ除去処理手段と、
を有して構成されたものであり、
上記デジタル化された時系列的な画像信号は、撮像素子により所定のフレームレートで撮像され、所定のゲインにより増幅された後にデジタル化して得られたものであり、
上記時間ノイズ量検出手段は、上記空間ノイズ低減処理後の処理対象の画像信号と、上記画像信号保存手段に保存されている１つ以上の過去の画像信号の少なくとも１つと、に基づき、上記注目画素の代表値を推定する代表値推定手段を有して構成され、
上記時間ノイズモデルは、上記代表値とノイズ量との関係をモデル化したものであって、上記画像信号が撮像されたときの上記撮像素子の温度と、上記画像信号に対するゲインと、上記時系列的な画像信号のフレームレートと、の内の少なくとも１つの情報に依存したモデルであり、
上記時間ノイズ量検出手段は、上記画像信号が撮像されたときの上記撮像素子の温度と、上記画像信号に対するゲインと、上記時系列的な画像信号のフレームレートと、の内の少なくとも１つの情報と、上記代表値推定手段により推定された注目画素の代表値と、を用いて、上記時間ノイズモデルに基づき時間ノイズ量を算出する時間ノイズ量算出手段をさらに有して構成されたものであり、
上記代表値推定手段は、上記空間ノイズ低減処理後の処理対象の画像信号における注目画素と、上記画像信号保存手段に保存されている１つ以上の過去の画像信号の少なくとも１つにおけるこの注目画素に対応する画素と、の差分値を算出する差分値算出手段を有して構成されたものであり、この差分値算出手段により算出された１つ以上の差分値の中の最小の差分値に基づき、上記代表値を推定するものであることを特徴とする請求項２に記載の動画ノイズ低減処理装置。
上記空間ノイズ低減手段は、
空間ノイズモデルに基づき上記処理対象の画像信号における注目画素の空間ノイズ量を検出する空間ノイズ量検出手段と、
上記空間ノイズ量検出手段により検出された空間ノイズ量に基づいて、上記注目画素にノイズ除去処理を行う空間ノイズ除去処理手段と、
を有して構成されたものであることを特徴とする請求項１から請求項６の何れか一項に記載の動画ノイズ低減処理装置。
コンピュータに、デジタル化された時系列的な画像信号のノイズを低減させるための動画ノイズ低減処理プログラムであって、コンピュータに、
上記画像信号に対して、空間ノイズ低減処理を行う空間ノイズ低減ステップと、
上記空間ノイズ低減処理が少なくとも行われた画像信号を保存する画像信号保存ステップと、
上記空間ノイズ低減ステップにより空間ノイズ低減処理が行われた処理対象の画像信号と、上記画像信号保存ステップにより保存された上記処理対象の画像信号よりも過去の画像信号と、に基づいて、時間ノイズ低減処理を行う時間ノイズ低減ステップと、
を実行させるためのプログラムであり、
上記時間ノイズ低減ステップは、
時間ノイズモデルに基づき、上記過去の画像信号を用いて、上記空間ノイズ低減処理後の処理対象の画像信号における注目画素の時間ノイズ量を画素毎に検出する時間ノイズ量検出ステップと、
上記時間ノイズ量検出ステップにより検出された時間ノイズ量に基づいて、上記空間ノイズ低減処理後の処理対象の画像信号の注目画素にノイズ除去処理を画素毎に行う時間ノイズ除去処理ステップと、
を含むステップであることを特徴とする動画ノイズ低減処理プログラム。
上記画像信号保存ステップは、上記空間ノイズ低減処理と上記時間ノイズ低減処理とが少なくとも行われた画像信号を保存するステップであることを特徴とする請求項８に記載の動画ノイズ低減処理プログラム。
上記時間ノイズ除去処理ステップは、上記時間ノイズ量検出ステップにより画素毎に検出された時間ノイズ量に基づいて画素毎にコアリング演算を行うことにより、上記空間ノイズ低減処理後の処理対象の画像信号の注目画素にノイズ除去処理を画素毎に行うステップであることを特徴とする請求項８または請求項９の何れか一項に記載の動画ノイズ低減処理プログラム。
上記デジタル化された時系列的な画像信号は、撮像素子により所定のフレームレートで撮像され、所定のゲインにより増幅された後にデジタル化して得られたものであり、
上記時間ノイズ量検出ステップは、上記空間ノイズ低減処理後の処理対象の画像信号と、上記画像信号保存ステップにより保存された１つ以上の過去の画像信号の少なくとも１つと、に基づき、上記注目画素の代表値を推定する代表値推定ステップを含むステップであり、
上記時間ノイズモデルは、上記代表値とノイズ量との関係をモデル化したものであって、上記画像信号が撮像されたときの上記撮像素子の温度と、上記画像信号に対するゲインと、上記時系列的な画像信号のフレームレートと、の内の少なくとも１つの情報に依存したモデルであり、
上記時間ノイズ量検出ステップは、上記画像信号が撮像されたときの上記撮像素子の温度と、上記画像信号に対するゲインと、上記時系列的な画像信号のフレームレートと、の内の少なくとも１つの情報と、上記代表値推定ステップにより推定された注目画素の代表値と、を用いて、上記時間ノイズモデルに基づき時間ノイズ量を算出する時間ノイズ量算出ステップをさらに含むステップであることを特徴とする請求項１０に記載の動画ノイズ低減処理プログラム。
上記代表値推定ステップは、上記空間ノイズ低減処理後の処理対象の画像信号における注目画素と、上記画像信号保存ステップにより保存された１つ以上の過去の画像信号の少なくとも１つにおけるこの注目画素に対応する画素と、の平均値を算出する平均値算出ステップを含み、この平均値算出ステップにより算出された平均値に基づき、上記代表値を推定するステップであることを特徴とする請求項１１に記載の動画ノイズ低減処理プログラム。
上記時間ノイズ低減ステップは、
時間ノイズモデルに基づき、上記過去の画像信号を用いて、上記空間ノイズ低減処理後の処理対象の画像信号における注目画素の時間ノイズ量を検出する時間ノイズ量検出ステップと、
上記時間ノイズ量検出ステップにより検出された時間ノイズ量に基づいて、上記空間ノイズ低減処理後の処理対象の画像信号の注目画素にノイズ除去処理を行う時間ノイズ除去処理ステップと、
を含むステップであり、
上記デジタル化された時系列的な画像信号は、撮像素子により所定のフレームレートで撮像され、所定のゲインにより増幅された後にデジタル化して得られたものであり、
上記時間ノイズ量検出ステップは、上記空間ノイズ低減処理後の処理対象の画像信号と、上記画像信号保存ステップにより保存された１つ以上の過去の画像信号の少なくとも１つと、に基づき、上記注目画素の代表値を推定する代表値推定ステップを含むステップであり、
上記時間ノイズモデルは、上記代表値とノイズ量との関係をモデル化したものであって、上記画像信号が撮像されたときの上記撮像素子の温度と、上記画像信号に対するゲインと、上記時系列的な画像信号のフレームレートと、の内の少なくとも１つの情報に依存したモデルであり、
上記時間ノイズ量検出ステップは、上記画像信号が撮像されたときの上記撮像素子の温度と、上記画像信号に対するゲインと、上記時系列的な画像信号のフレームレートと、の内の少なくとも１つの情報と、上記代表値推定ステップにより推定された注目画素の代表値と、を用いて、上記時間ノイズモデルに基づき時間ノイズ量を算出する時間ノイズ量算出ステップをさらに含むステップであり、
上記代表値推定ステップは、上記空間ノイズ低減処理後の処理対象の画像信号における注目画素と、上記画像信号保存ステップにより保存された１つ以上の過去の画像信号の少なくとも１つにおけるこの注目画素に対応する画素と、の差分値を算出する差分値算出ステップを含み、この差分値算出ステップにより算出された１つ以上の差分値の中の最小の差分値に基づき、上記代表値を推定するステップであることを特徴とする請求項９に記載の動画ノイズ低減処理プログラム。
上記空間ノイズ低減ステップは、
空間ノイズモデルに基づき上記処理対象の画像信号における注目画素の空間ノイズ量を検出する空間ノイズ量検出ステップと、
上記空間ノイズ量検出ステップにより検出された空間ノイズ量に基づいて、上記注目画素にノイズ除去処理を行う空間ノイズ除去処理ステップと、
を含むステップであることを特徴とする請求項８から請求項１３の何れか一項に記載の動画ノイズ低減処理プログラム。
デジタル化された時系列的な画像信号のノイズを低減するための動画ノイズ低減処理方法であって、
上記画像信号に対して、空間ノイズ低減処理を行う空間ノイズ低減ステップと、
上記空間ノイズ低減処理が少なくとも行われた画像信号を保存する画像信号保存ステップと、
上記空間ノイズ低減ステップにより空間ノイズ低減処理が行われた処理対象の画像信号と、上記画像信号保存ステップにより保存された上記処理対象の画像信号よりも過去の画像信号と、に基づいて、時間ノイズ低減処理を行う時間ノイズ低減ステップと、
を含み、
上記時間ノイズ低減ステップは、
時間ノイズモデルに基づき、上記過去の画像信号を用いて、上記空間ノイズ低減処理後の処理対象の画像信号における注目画素の時間ノイズ量を画素毎に検出する時間ノイズ量検出ステップと、
上記時間ノイズ量検出ステップにより検出された時間ノイズ量に基づいて、上記空間ノイズ低減処理後の処理対象の画像信号の注目画素にノイズ除去処理を画素毎に行う時間ノイズ除去処理ステップと、
を含むことを特徴とする動画ノイズ低減処理方法。