WO2008129926A1 - 映像処理装置、映像処理プログラム及び映像処理方法 - Google Patents

Abstract

撮像系から時系列的に取り込まれた映像信号に対しノイズ低減処理を行う映像処理装置において、前記映像信号に対してノイズ低減処理を行うノイズ低減部(114)と、前記映像信号のうち現在の映像信号から第１のノイズ量を推定する第１のノイズ推定部(112)と、前記第１のノイズ量、前記現在の映像信号及び前記ノイズ低減処理後の過去の映像信号に基づき第２のノイズ量を推定する第２のノイズ推定部(113)と、を備え、前記ノイズ低減部(114)は、前記現在の映像信号に対しては、前記第２のノイズ量に基づき前記ノイズ低減処理を行う。

Description

明 細 書

,処理装置、 映像処理プログラム及び映像処理方法 発明の所属分野 本発明は、撮像系に起因する映像信号のランダムノイズの低減処理技術に関 し、 特に巡回型のノイズ低減処理に関する。 発明の背景 撮像素子とそれに付随するアナログ回路及び A/D コンバータなどから構成 される撮像系から得られる映像信号は、一般にノイズ成分を含有する。 このノ ィズ成分は、 固定パターンノイズとランダムノイズに大別できる。 固定パター ンノィズは、欠陥画素などに代表される主に撮像素子に起因するノィズである。 一方、 ランダムノイズは撮像素子及ぴアナログ回路で発生するもので、ホワイ トノィズ特性に近レ、特性を有する。

動画像におけるランダムノイズの低減処理としては、時間軸方向の相関性を 用いた巡回型のノイズ低減処理がある。巡回型のノイズ低減処理は、映像信号 自体は過去の映像信号と相関性が高く、一方、 ランダムノイズは過去の映像信 号と相関性が低レ、ことを利用し、現在と過去の映像信号間にて差分処理を行う ことでランダムノィズのみを抽出し、抽出されたランダムノィズを用いて現在 の映像信号のノイズ低減処理を行うものである。

この場合、課題となるのは被写体が変化する動領域において差分処理を行う と動き成分もまたランダムノイズと共に抽出されてしまうことにある。このた め、差分処理を行った信号から動き成分を除去する精度が、巡回型のノイズ低 減処理の精度を左右する要因となる。

このような動き成分を除去する方法としては、 例えば、 JP10-13734Aでは映 像信号から動き成分を検出し、検出された動き成分に基づき差分処理を行った 信号に対するリミツト値と帰還係数を制御する方法が開示されている。これに より、動き成分が少ないときはノィズ低減処理を強めに行レ、ノィズ量の少な ヽ 映像信号を、動き成分が大きいときはノイズ低減処理を弱めに行い残像の少な レ、映像信号を得ることが可能となる。

また、 JP2000- 209507A では差分処理を行った信号値から帰還係数を制御す る方法が開示されている。差分処理を行った信号値が小さい場合はランダムノ ィズと判断し、帰還係数を大きくすることでノイズ量の少ない映像信号を、差 分処理を行った信号値が大きレ、場合は動き成分と判断し、帰還係数を小さくす ることで残像の少ない映像信号を得ることが可能となる。

さらに、 JP2006-23959Aではノィズ量をノィズモデルに基づきブロック単位 に推定して、 プロック単位にノイズ低減処理を制御する例が開示されている。 発明の概要

JP10-13734A では動き成分を検出することで高精度なノィズ低減処理が可 能となるが、一般に動き成分の検出処理は計算量が多く処理時間が長くなるこ と、及び全体としてコストが高くなるという課題がある。 また、動き成分とラ ンダムノイズという性質が異なる信号間の処理は、制御のためのパラメータ設 定が複雑になり、 操作性が低下するという課題がある。

また、 JP2000-209507A では差分処理を行った信号値で制御を行うため計算 量が少なく低コスト化が可能であるが、動き成分とランダムノイズの分離精度 が低く高品位な映像信号が得られないという課題がある。

さらに、 JP2006- 23959Aでは時間軸方向の相関性を用いた巡回型のノイズ低 減処理とは独立しており、 相互を最適に活用できないという課題がある。 本発明は、上記問題点に着目してなされたもので、巡回型のノイズ低減処理 において、動き成分とランダムノィズを高精度に分離することで高品位な映像 信号を得られるようにすることを目的とする。

本宪明は、撮像系から時系列的に取り込まれた映像信号に対しノィズ低減処 理を行う映像処理装置を提供する。映像処理装置は、前記映像信号に対してノ ィズ低減処理を行ぅノィズ低減部と、前記映像信号のうち現在の映像信号から 第 1のノイズ量を推定する第 1のノイズ推定部と、前記第 1のノイズ量、前記 現在の映像信号及び前記ノィズ低減処理後の過去の映像信号に基づき第 2の ノイズ量を推定する第 2のノイズ推定部と、 を備え、前記ノイズ低減部は、前 記現在の映像信号に対しては、前記第 2のノィズ量に基づき前記ノィズ低減処 理を行う。

また、本発明は、 このような処理を行う映像処理プログラム、映像処理方法 を提供する。

本発明によれば、巡回型のノイズ低減処理において、動き成分を含まない現 在の映像信号から第 1のノィズ量を求め、過去の映像信号との差分信号に対し て第 1のノィズ量に基づき動き成分とランダムノィズを分離する構成のため、 動き成分とランダムノィズを高精度に分離することができ、高品位な映像信号 が得られる。また、第 1のノイズ量に基づきランダムノイズを分離する構成の ため、性質的に同質な信号間の処理となり、制御の簡略化及び操作性の向上が 可能となる。

本発明の実施形態、 本発明の利点については、 添付された図面を参照しながら 以下に詳細に説明する。 図面の簡単な説明 図 1は、 第 1の実施形態の構成図である。

図 2A、 2Bは、 べィヤー型原色フィルタの配置と局所領域に関する説明図で ある。 ，

図 3は、 ノィズ低減部の構成図である。

図 4は、 第 1ノイズ推定部の構成図である。

図 5 A— 5 Cは、 第 1のノイズ量の推定に関する説明図である。

図 6は、 第 2ノイズ推定部の構成図である。

図 7A、 7Bは、 第 2のノイズ量の推定に関する説明図であり、 時系列的に撮 影される映像信号及び X軸方向のプロファイルを示す。

図 8は、 第 2のノイズ量の推定に関する説明図であり、 各処理部における信号 形態を示す。

図 9A、 9Bは、 色差線順次型補色フィルタの配置と局所領域に関する説明図 である。

図 10は、 別形態の第 2ノイズ推定部の構成図である。

図 11は、 另 IJ形態の第 1の実施形態の構成図である。

図 12A— 12Dは、 信号処理のフローチャートであり、 図 12 Aは全体処理 のフロー、 図 12 Bは第 1ノイズ推定処理のフロー、 図 12Cは、 第 2ノイズ推 定処理のフロー、 図 12Dはノィズ低減処理のフ口一を示す。

図 13は、 第 2の実施形態の構成図である。

図 14 A— 14 Cは、 色差線順次型補色フィルタの局所領域に関する説明図で ある。

図 15は、 ノィズ低減部の構成図である。

図 16は、 別形態のノイズ低減部の構成図である。

図 17は、 平滑化用フィルタに関する説明図である。

図 18は、 平滑化用フィルタの選択に関する説明図である。

図 19は、 別形態のノイズ低減部の構成図である。 図 2 0は、 第 1ノイズ推定部の構成図である。

図 2 1は、 第 2ノイズ推定部の構成図である。

図 2 2 A、 2 2 Bは、 第 2ノィズ推定部で用いる過去の映像信号に関する説明 図である。

図 2 3 A— 2 3 Dは、 信号処理のフローチャートであり、 図 2 3 Aは全体処理 のフ口一、 図 2 3 Bは第 1ノイズ推定処理のフロー、 図 2 3 Cは第 2ノイズ推定 処理のフロー、 図 2 3 Dはノイズ低減処理のフローを示す。 好ましい実施例の説明 以下、 添付図面を参照しながら本発明の実施形態について説明する。

まず、 その構成について説明する。 図 1は第 1の実施形態の構成図である。 レンズ系 100、 絞り 101、 CCD102を介して撮影された映像信号は、 増幅器 （図中 "Gain") 104にて増幅され、 A/Dコンバータ （図中" A/Dつ 105にてデジタル信号 へ変換される。 A/Dコンバータ 105からの映像信号は、 バッファ 106を介して色 信号分離部 111へ転送される。

バッファ 106は、 プリホワイトバランス調整部 （図中" PreWB部"） 107、 測光 評価部 108、合焦点検出部 109へも接続されている。 プリホワイトバランス調整 部 107は増幅器 104へ、 測光評価部 108は絞り 101、 CCD102、 増幅器 104へ、 合焦 点検出部 109は AFモータ 110へ接続されている。

色信号分離部 111は、 第 1ノイズ推定部 112、 第 2ノイズ推定部 113、 ノイズ 低減部 114へ接続されている。第 1ノィズ推定部 112は第 2ノィズ推定部 113へ、 第 2ノィズ推定部 113はノィズ低減部 114へ接続されている。 ノィズ低減部 114 は、第 2ノィズ推定部 113及ぴ信号処理部 115へ接続されている。信号処理部 115 は、 メモリカードなどの出力部 116に接続されている。

マイクロコンピュータなどの制御部 117は、増幅器 104、 A/D105、 プリホワイ トバランス調整部 107、 測光評価部 108、 合焦点検出部 109、 色信号分離部 111、 第 1ノイズ推定部 112、 第 2ノイズ推定部 113、 ノイズ低減部 114、 信号処理部 115、 出力部 116と双方向に接続されている。

また、電源スィッチ、 シャッターボタン、撮影時の各種モードの切り替えの 設定を行うためのインターフェースを備えた外部 I/F部 118も制御部 117に双方 向に接続されている。 さらに、 CCD102の近傍に配置された温度センサー 103か らの信号は制御部 117へ接続されている。

続いて、 信号処理の内容について説明する。

図 1を参照しながら映像信号の流れを説明する。 外部 I/F部 118を介して ISO 感度などの撮影条件を設定した後、シャッターボタンを押すことで撮像モード に入る。 レンズ系 100、絞り 101、 CCD102を介して撮影された映像信号はアナ口 グ信号として所定時間間隔で連続的に出力される。以後、連続的に出力される 複数の映像信号を単に映像信号、 1枚の映像信号をフレーム信号と表記する。 また、本実施形態においては上記所定時間間隔として 1/30秒（以後は 1フレー ム時間と表記する） を想定する。 さらに、 CCD102としてはべィヤー （Bayer) 型原色フィルタを前面に配置した単板 CCDを想定する。

図 2 Aはべィヤー型原色フィルタの構成を示す。べィヤー型は 2 X 2画素を基 本単位とし、 赤 (R)、 青 (B)フィルタが 1画素ずつ、緑 (Gr、 Gb)フィルタが 2画 素配置される。 なお、緑フィルタは同一な特性である力 本例では処理の便宜 上これを Grと Gbに区別するものとする。 上記アナログ信号は増幅器 104にて所 定量増幅され、 A/Dコンバータ 105にてデジタル信号へ変換されてバッフ了 106 へ転送される。

バッファ 106は、 1フレーム信号を記録可能で、 撮影にともない順次上書き されることになる。バッファ 106内のフレーム信号は、制御部 117の制御に基づ き、 所定のフレーム時間間隔で間欠的にプリホワイトバランス調整部 107、 測 光評価部 108及ぴ合焦点検出部 109 転送される。 プリホワイトバランス調整部 107では所定レベルの信号を色フィルタに対応 する色信号ごとに積算することで、簡易ホワイトバランス係数を算出する。上 記係数を増幅器 104へ転送し、 色信号ごとに異なるゲインを乗算させることで ホワイ トパランスを行わせる。

測光評価部 108では、設定された ISO感度、手ぶれ限界のシャッター速度など を加味し、 適正露光となるよう絞り 101や CCD102の電子シャッター速度や増幅 器 104の増幅率などを制御する。 また、合焦点検出部 109では、映像信号中のェ ッジ強度を検出し、 これが最大となるように AFモータ 110を制御することで合 焦信号を得る。

プリホワイトバランス調整部 107にて求められたホワイトバランス係数、 測 光評価部 108にて求められた露光条件、合焦点検出部 109にて求められた合焦条 件は制御部 117 転送される。

一方、色信号分離部 111は制御部 117の制御に基づき、以後のノイズ低減処理 の対象となる注目画素及び注目画素の近傍に位置する近傍画素からなる局所 領域を色信号ごとに順次抽出する。

本実施形態においては、例えば図 2 Aに示される 10 X 10画素を基本単位とし てフレーム信号から抽出する。 この場合、 ノイズ低減処理の対象となる注目画 素は R₂₂、 Gr₂₂、 Gb₂₂、 B₂₂の 4画素となる。

次に、 図 2 Bに示されるように R、 Gr、 Gb、 Bの色フィルタごとに 5 X 5画素の 局所領域として分離する。 以降は、 時刻 Tにおける局所領域内の画素値を

(Cは色信号で C=R、 Gr、 Gb、 B、 iは X座標で i=0〜4、 jは Y座標で j=0〜4) で表 記する。 5 X 5画素の局所領域の場合、 注目画素値は C^T ₂₂となる。

上記局所領域は第 1ノィズ推定部 112へ、 上記注目画素は第 2ノィズ推定部 113、 ノイズ低減部 114へ転送される。 第 1ノイズ推定部 112は、制御部 117の制 御に基づき、 注目画素値 C^T ₂₂に関する第 1のノイズ量 C_N1^T ₂₂を推定し、 これを 第 2ノィズ推定部 113へ転送する。 第 2ノイズ推定部 113は、 制御部 117の制御に基づき、 色信号分離部 111から の注目画素値 C^T ₂₂と後述するノィズ低減部 114からのノィズ低減処理がなされ た過去の注目画素値間の差分信号を求め、 これを第 1ノイズ推定部 112からの 第 1のノィズ量 C_N1^T ₂₂を用いて補正することで第 2のノィズ量 C_N2^T ₂₂を推定 し、 これをノイズ低減部 114へ転送する。

本実施形態においては、 過去の注目画素としては 1フレーム時間前の時刻 T - 1のフレーム信号を想定し、 ノイズ低減処理がなされた画素値を C'で表記す ることとする。 注目画素値 C^T ₂₂に関するノイズ低減処理がなされた過去の注目 画素値は c' ^M ₂₂となる。

ノイズ低減部 114は、 制御部 117の制御に基づき、 色信号分離部 111からの注 目画素値 C^T ₂₂に関して第 2ノィズ推定部 113からの第 2のノィズ量 C_N2^T ₂₂を差 分することで、 ノイズ低減処理がなされた注目画素値 C' ^τ ₂₂を算出し、 これを 第 2ノィズ推定部 113及ぴ信号処理部 115へ転送する。 なお、 ノィズ低減部 114 は後述する第 2の実施形態のノィズ低減部 604のように注目画素値 C^T ₂₂に関し て第 2のノイズ量 C_N2^T ₂₂を用いてコアリング処理を行うことでノイズ低減処 理がなされた注目画素値 C' ^τ ₂₂を算出するようにしてもよい。

上記色信号分離部 111、 第 1ノイズ推定部 112、 第 2ノイズ推定部 113、 ノィ ズ低減部 114における処理は、制御部 117の制御に基づき局所領域単位で同期し て行われる。

信号処理部 115は、制御部 117の制御に基づき、 ノイズ低減処理がなされたフ レーム信号に対して公知の補間処理、強調処理、階調処理、圧縮処理などを行 レ、、 出力部 116へ転送する。 出力部 116は、磁気ディスクやメモリカードなどの 記録媒体に映像信号を記録保存する。

図 3はノイズ低減部 114の構成の一例を示すもので、 ノイズ低減部 114は、画 素抽出部 200、 ノイズ量抽出部 201、 減算部 202からなる。

色信号分離部 111は画素抽出部 200へ、 第 2ノィズ推定部 113はノィズ量抽出 部 201へ接続している。 画素抽出部 200及びノイズ量抽出部 201は、 減算部 202 へ接続している。 減算部 202は、 第 2ノイズ推定部 113及び信号処理部 115へ接 続している。 制御部 117は、 画素抽出部 200、 ノイズ量抽出部 201、 減算部 202 と双方向に接続されている。

― 画素抽出部 200は、 制御部 117の制御に基づき、 色信号分離部 111から注目画 素値 C^T ₂₂を読み込み、減算部 202 転送する。 ノイズ量抽出部 201は、 制御部 117 の制御に基づき、第 2ノイズ推定部 113から第 2のノイズ量 C_N2^T ₂₂を読み込み、 減算部 202 転送する。

減算部 202は、 制御部 117の制御に基づき、 画素抽出部 200からの注目画素値 C^T ₂₂とノィズ量抽出部 201からの第 2のノィズ量 N2^T ₂₂の間で減算処理を行レ、、 ノイズ低減処理がなされた注目画素値 C' ^τ ₂₂を求める。

22 - 22 一 C_N2 22 … (1/ ノイズ低減処理がなされた注目画素値 C' ^τ ₂₂は、第 2ノイズ推定部 113及ぴ信 号処理部 115へ転送される。

図 4は第 1ノイズ推定部 112の構成の一例を示すもので、 第 1ノイズ推定部 112は、 局所領域抽出部 300、 平均値算出部 301、 ゲイン算出部 302、標準値付与 部 303、 パラメータ用 R0M304、 パラメータ選択部 305、 補間部 306、 補正部 307 からなる。

色信号分離部 111は、 局所領域抽出部 300を介して平均値算出部 301へ接続し ている。 平均値算出部 301、 ゲイン算出部 302、 標準値付与部 303、 パラメータ 用 R0M304は、 パラメータ選択部 305 接続している。 パラメータ選択部 305は、 補間部 306及び補正部 307へ接続している。補間部 306は補正部 307へ、補正部 307 は第 2ノイズ推定部 113へ接続している。 制御部 117は、 局所領域抽出部 300、 平均値算出部 301、ゲイン算出部 302、標準値付与部 303、パラメータ選択部 305、 補間部 306、 補正部 307と双方向に接続されている。

局所領域抽出部 300は、 制御部 117の制御に基づき、 図 2 Bに示される 5 X 5 画素の局所領域を順次抽出し、平均値算出部 301 転送する。平均値算出部 301 は、制御部 117の制御に基づき、局所領域抽出部 300からの局所領域に関する平 均値 C_AVを求める。

∑c;

C AV = ^ ~~ - " (2) ― 25

(2)式に示される平均値 C_AVは、 パラメータ選択部 305へ転送される。

ゲイン算出部 302は、 制御部 117から転送される ISO感度及び露光条件に関す る情報に基づき増幅器 104における増幅量を求めノ ラメータ選択部 305へ転送 する。 また、制御部 117は温度センサー 103から CCD102の温度情報を得て、 これ をパラメータ選択部 305へ転送する。

パラメータ選択部 305は、平均値算出部 301からの局所領域の平均値、ゲイン 算出部 302からのゲインの情報、制御部 117からの温度情報に基づき第 1のノィ ズ量を推定する。

図 5 A、 5 Bは、 第 1のノイズ量の推定に関する説明図である。 図 5 Aは、 信号レベル Lに対するノイズ量 Nをプロットしたもので、信号レベルに対して 2 次曲線的に増加している。 図 5 Aを 2次関数でモデルィ匕すると（3)式が得られ る。

N = a h² + β ΐ + y …（3) ここで、 α、 β、 γは定数項である。 しかしながら、 ノイズ量は信号レベル だけではなく、撮像素子の温度やゲインによっても変化する。 図 5 Αは、一例 としてある温度下においてゲインに関連する 3種類の ISO感度 100、 200、 400 に対するノイズ量をプロットしている。 個々の曲線は（3)式に示される形態を しているが、 その係数はゲインに関連する ISO感度により異なる。温度を t、 ゲ インを gとし、 上記を考慮した形でモデルの定式化を行うと、

N = a _gtL² + ^ _gtL + y _gt …( となる。 ここで、 a _gt、 j3 _g y _gtは定数項である。 ただし、 （4)式の関数を複数記録し、 その都度演算によりノイズ量を算出す ることは処理的に煩雑である。 このため、図 5 Bに示すようなモデルの簡略化 を行う。図 5 Bにおいては、最大のノイズ量を与えるモデルを基準ノイズモデ ルとして選択し、 これを所定数の折れ線で近似する。折れ線の変曲点は、信号 レベル Lとノイズ量 Nからなる座標データ（L_n、 N_n)で表す。 ここで、 nは変曲点 の数を示す。

また、上記基準ノィズモデルから他のノィズモデルを導出するための補正係 数 k_gtも用意される。 補正係数 k_gtは、 各ノイズモデルと基準ノイズモデル間か ら最小自乗法により算出される。基準ノイズモデルから他のノイズモデルを導 出するには、 上記補正係数 k_gtを乗算することで行われる。

図 5 Cは、図 5 Bに示す簡易化されたノィズモデルからノィズ量を算出する 方法を示す。 例えば、 与えられた信号レベルム ゲインが g、 温度が tに対応す るノイズ量 Nを求めることを想定する。まず、信号レベル 7が基準ノイズモデル のどの区間に属するかを探索する。 ここでは、 （L_n、 N_n)と（L_n+1、 N_n+1)間の区間 に属するとする。基準ノィズモデルにおける基準ノィズ量 を線形補間にて求 める。

N, = ^Nn+1— ^N。(/_L_n)+ N_n

L_n+1 _L_n ー（₅₎ 次に補正係数 k_gtを乗算することでノィズ量 Nを求める。

N = k_gt- N_; … パラメータ選択部 305は、平均値算出部 301からの局所領域の平均値 C_AVから 信号レベル を、 ゲイン算出部 302からのゲインの情報からゲイン gを、 制御部 117からの温度情報から温度 tを設定する。

次に、信号レベル⁷が属する区間の座標データ（L_n、 N_n)と（L_n+1、 N_n+1)をパラメ ータ用 R0M304から探索し、 これを補間部 306へ転送する。 さらに、 補正係数 k_gt をパラメータ用 R0M304から探索し、 これを補正部 307へ転送する。 補間部 306は、 制御部 117の制御に基づき、 パラメータ選択部 305からの信号 レベル 7及び区間の座標データ（L_n、 N_n)と（L_n+1、 N_n+1)から（5)式に基づき基準ノ ィズモデルにおける基準ノィズ量 N,を算出し、 補正部 307へ転送する。

補正部 307は、 制御部 117の制御に基づき、 パラメータ選択部 305からの補正 係数 k_gt及び補間部 306からの基準ノィズ量 N,から（6)式に基づきノィズ量 Nを算 出する。 上記ノィズ量 Nは、 注目画素値 C^T ₂₂の第 1のノィズ量 C_N1^T ₂₂として第 2 ノイズ推定部 113へ転送される。

なお、上記ノイズ量算出の過程において、温度 t、 ゲイン gなどの情報を撮影 ごとに求める必要はない。 任意の情報を標準値付与部 303に記録させておき、 算出過程を省略する構成も可能である。 これにより、高速処理や省電力化など が実現できる。 また、 ここではノイズモデルを用いて第 1のノイズ量 C_N1^T ₂₂ を得ているが、後述する第 2の実施形態のようにルックアツプテーブルを用レ、 て第 1のノィズ量 C_N1^T ₂₂を得るようにしても構わない。

図 6は第 2ノィズ推定部 113の構成の一例を示す。 第 2ノィズ推定部 113は、 記録部 400、 差分部 401、 比較部 402、 上限値設定部 403からなる。

ノィズ低減部 114は記録部 400 、 色信号分離部 111及び記録部 400は差分部 401へ接続している。差分部 401は、比較部 402及び上限値設定部 403へ接続して いる。第 1ノイズ推定部 112は比較部 402へ、比較部 402は上限値設定部 403へ接 続している。 上限値設定部 403はノイズ低減部 114へ接続している。 制御部 117 は、記録部 400、差分部 401、比較部 402、 上限値設定部 403と双方向に接続され ている。

ノィズ低減部 114からのノィズ低減処理がなされた信号は、 画素単位で順次 記録部 400へ転送され、記録される。本実施形態においては、記録部 400は 1フ レーム信号を記録可能とし、次のノィズ低減処理がなされたフレーム信号が転 送されてきた場合は上書きされる。本実施形態では、 1フレーム時間単位で映 像信号が出力されるため、 記録部 400には 1フレーム時間前のノイズ低減処理 がなされた映像信号が記録されている。

差分部 401は、 制御部 117の制御に基づき、 色信号分離部 111から注目画素値 C^T ₂₂を、 記録部 400から注目画素値 C^T ₂₂に対応するノィズ低減処理がなされた過 去の注目画素値 C' ^τ を読み込み、両者間で差分処理を行うことで差分信号 Δ ^τ ₂₂を得る。

22 - G ₂2 - 22 · ·、

(7)式に示される差分信号 C_ Δ ^τ ₂₂は、 比較部 402及び上限値設定部 403へ転送 される。 比較部 402は、 制御部 117の制御に基づき、 差分部 401から差分信号 厶 ^τ ₂₂を読み込むとともに、第 1ノイズ推定部 112から注目画素値 C^T ₂₂に対応する 第 1のノイズ量 C— N1^T ₂₂を読み込み、 両者の比較を行う。 この比較は、 差分信号 厶 ^τ ₂₂の絶対値が第 1のノイズ量 C—N1^T ₂₂に含まれるか否かを判断するもので、 Δ^τ ₂₂≥ N1^T ₂₂または- C_N1^T ₂₂≥C_A^T ₂₂の場合はノィズ範囲外、 C_N1^T ₂₂>C_A^T ₂₂ 〉-C_Nl^T ₂₂の場合はノィズ範囲内とする。 上記判断結果は、 上限値設定部 403 転送される。

上限値設定部 403は、 制御部 117の制御に基づき、 差分部 401からの差分信号 C—厶 ^τ ₂₂に対して比較部 402からの比較結果に基づき補正を行うことで第 2のノ ィズ量 C_N2^T ₂₂を求める。

C_N2^T ₂₂ = C— N1^T ₂₂ (C_A ^T ₂₂≥C_N1^T ₂₂ )

C一 N2^T ₂₂ = C_A^T ₂₂ (C— N1^T ₂₂>C— Δ^τ ₂₂>- C_N1^T ₂₂ ) …（8) C_N2^T ₂₂ = -C_N1^T ₂₂ (-C_N1^T ₂₂≥C_A ^T ₂₂)

(8)式は、 差分信号がノイズ量を上回る （差分信号が負の場合は下回る） 場 合にノィズ量を上限とする制約を設けることを意味する。上記第 2のノイズ量 C_N2^T ₂₂は、 ノィズ低減部 114へ転送される。

図 7 A、 7 B、 図 8は上記第 2のノイズ量の推定に関する説明図である。 図 7 A、 7 Bは時系列的に撮影される映像信号及ぴ X軸方向のプロファイルを示 す。 被写体としては、 黒を背景として白の矩形が X軸方向に移動する場合を想 定する。 図 7 Bは現在の時刻 Tの映像信号 C^Tを、 図 7 Aは 1フレーム時間前の 時刻 T-1の映像信号 —¹を示す。 なお、 図 7 Aの映像信号はノイズ低減処理が完 了しており、 ノイズ低減処理後の映像信号 C， ^wが存在する。

図 8は、映像信号が図 7 A、 7 Bに示す信号である場合の色信号分離部 111、 第 1ノイズ推定部 112、 第 2ノイズ推定部 113内の差分部 401及び上限値設定部 403、 ノイズ低減部 114における処理を図示したものである。

色信号分離部 111からは、 図 7 Bに示される時刻 Tの映像信号が転送される。 ノィズ低減部 114からは、図 7 Aに示される時刻 T-1のノィズ低減処理後の映像 信号 C， wが転送される。

差分部 401は、 （7)式に示される差分信号 Δ^τを算出する。 この場合、 差分 信号 C_A ^Tにはランダムノイズと動き成分の二成分が混在することになる。 本 例においては、 白の矩形が X軸方向に移動しているため、 矩形の境界部で大き な動き成分が検出されることになる。

第 1ノイズ推定部 112からは第 1のノイズ量 C_N1^Tが転送される。第 1のノィ ズ量 C_N1^Tは、 時刻 Tの映像信号 C^T及びノイズモデルに基づき推定されるため動 き成分が含まれない。上限値設定部 403は、 （8)式に示されるように第 1のノィ ズ量 C_N1^Tを逸脱する場合に第 1のノィズ量 (_ 7を上限値とする補正を行う。 これにより、 差分信号 Δ^τから動き成分が除去され、 第 2のノイズ量 C_N2 求められる。

ノイズ低減部 114では、 （1)式に示される減算処理がなされ、ノイズ低減処理 がなされた時刻 τの映像信号 c， τが生成される。

続レ、て、 上記ノィズ低減処理による効果にっレ、て説明する。

現在の映像信号から推定される第 1のノイズ量は動き成分を含まないので、 これを用いて動き成分とランダムノィズを分離することで、両成分を高い精度 で分離することができ、高品位な映像信号が得られる。 また、分離に使用する 第 1のノィズ量の推定及び減算処理で行われるノィズ低減処理は計算量が少 なく、 システム全体の高速化及び低コスト化を可能とする。

また、第 1のノイズ量の推定は、撮影ごとに異なる条件に動的に適応するた め、高精度かつ安定的な推定が可能となる。 さらに、第 1のノイズ量に基づく 補正処理により第 2のノィズ量を求める手法は、同質な信号間での処理となり、 制御の簡略化が可能となり操作性が向上する。

また、ノィズ低減処理後の映像信号をフレーム単位時間遅延して現在の映像 信号との差分を得るようにしたので、従来使用されている撮像素子及び信号処 理系との親和性、互換性が高く、多様な撮像システムに適応することが可能と なる。

また、各色信号を独立に処理するため、動き成分とランダムノイズの分離を 高精度化することができ、 高品位な映像信号が得られる。

また、べィヤー型原色フィルタは現状の撮像系との親和性が高く、多様なシ ステムとの組み合わせが可能となる。なお、上記実施形態では撮像素子として べィヤー型原色フィルタを用いる構成となっていた力 s、このような構成に限定 される必要はない。例えば、色差線順次型補色フィルタを用いることも可能で あるし、 二板、 三板撮像素子の利用も可能である。

図 9 Aは色差線順次型補色フィルタの構成を示す。 色差線順次方式は 2 X 2 画素を基本単位とし、 シアン (Cy)、 マゼンタ（Mg)、 イェロー (Ye)、 緑 (G)が 1 画素ずつ配置される。 ただし、 Mgと Gの位置はラインごとに反転している。 色 差線順次型補色フィルタの場合、 色信号分離部 111は、 図 9 Aに示される 10 X 10画素単位で映像信号を読み込み、これを図 9 Bに示されるように Mg、 G、 Ye、 Cyの色フィルタごとに、注目画素を中心とする 5 X 5画素を局所領域として分離 する。 時刻 Tにおける局所領域内の画素値は (Cは色信号で C=Mg、 G、 Ye、 Cy) で示されることになる。

また、 第 2ノイズ推定部 113において差分信号が第 1のノイズ量を逸脱する 場合に、第 1のノイズ量を上限とする補正処理を行う構成となっていたが、 こ のような構成に限定される必要はない。

例えば、第 1のノィズ量を逸脱する場合に零に置換するなどのより簡易的な 構成も可能である。 図 1 0は、 第 2ノイズ推定部 113の別構成の一例を示すも ので、 図 6に示す上限値設定部 403を置換部 404に置換した構成になっている。 基本構成は図 6に示す第 2ノイズ推定部 113と同等であり、 同一の構成には同 一の名称と番号を割り当てている。

以下、 異なる部分のみ説明する。 差分部 401及び比較部 402は、 置換部 404 接続している。 置換部 404はノイズ低減部 114へ接続している。 制御部 117は置 換部 404と双方向に接続されている。 図 6に示す差分部 401及び比較部 402と同 様に、 差分部 401は差分信号 C_A ^T ₂₂を算出し、 比較部 402は差分信号 C— Δ ^τ ₂₂と第

1のノィズ量 C_N1^T ₂₂間の比較を行う。置換部 404は、制御部 117の制御に基づき、 差分部 401からの差分信号 C_ Δ ^τ ₂₂に対して比較部 402からの比較結果に基づき 補正を行うことで第 2のノィズ量 C_N2^T ₂₂を求める。

C_N2^T ₂₂ = 0 (C_ A^T ₂₂≥C_N1^T ₂₂ )

C_N2^T ₂₂ = C—厶 ^T ₂₂ (C_Nl^T ₂₂>C_A ^T ₂₂>_C_N ₂₂ ) ·'· (9)

C_N2^T ₂₂ = 0 (— C一 N1^T ₂₂≥C_A ^T ₂₂)

後段のノィズ低減部 114は、 注目画素値 C^T ₂₂とノィズ量抽出部 201からの第 2 のノィズ量 N2^T ₂₂間にて減算処理を行うため、 （9)式に示される置換処理は動 領域において何も処理を行わないことを意味する。一般に動領域では視覚的に 高周波域の識別能が低下するため、 ランダムノイズが目立ちにくく、置換処理 においても対応することができる。置換処理は、図 6に示す上限値設定処理よ りも実装が容易であり、 システムの低コスト化が可能となる。

さらに、上記実施形態ではレンズ系 100、絞り 101、 CCD102、温度センサー 103、 増幅器 104、 A/Dコンバータ 105、 プリホワイトバランス調整部 107、測光評価部 108、 合焦点検出部 109、 AFモータ 110からなる撮像部と一体化した構成になつ ていたが、 このような構成に限定される必要はない。例えば、 図 1 1に示され るように、 別体の撮像部で撮像された映像信号を未処理の Rawデータ形態で、 さらに CCD102の色フィルタゃ撮影時の露光条件などの付随情報をへッダ部に 記録した記録媒体から処理をすることも可能である。

図 1 1は、 図 1に示す構成からレンズ系 100、 絞り 101、 CCD102、温度センサ 一 103、 増幅器 104、 A/Dコンバータ 105、 プリホワイトバランス調整部 107、 測 光評価部 108、 合焦点検出部 109、 AFモータ 110を省略し、 入力部 500、 ヘッダ情 報解析部 501を追加した形態となっている。 基本構成は図 1と同等であり、 同 一の構成には同一の名称と番号を割り当てている。

以下、異なる部分のみ説明する。入力部 500は、バッファ 106及びヘッダ情報 解析部 501へ接続している。 制御部 117は、 入力部 500、 ヘッダ情報解析部 501 と双方向に接続している。マウス、キーボードなどの外部 I/F部 118を介して再 生操作を開始することで、記録媒体に保存された映像信号及びヘッダ情報が入 力部 500から読み込まれる。 なお、 映像信号は所定の時間間隔、 本実施形態で は 1フレーム時間間隔で 1枚ずつ順次読み込まれる。

入力部 500からのフレーム信号はバッファ 106へ、へッダ情報はへッダ情報解 析部 501へ転送される。ヘッダ情報解析部 501は、ヘッダ情報から撮影時の情報 を抽出して制御部 117へ転送する。 以後の処理は、 図 1と同等である。

また、上記実施形態ではハードウェアによる処理を前提としていたが、 この ような構成に限定される必要はない。例えば、 CCD102からの映像信号を未処理 のままの Rawデータとして、制御部 117から CCD102の色フィルタや撮影時の露光 条件などの付随情報などをへッダ情報として出力し、別途ソフトウェアにて処 理する構成も可能である。

図 1 2 Aは上記信号処理をコンピュータに実行させる場合のソフトウエア 処理に関するフローを示している。以下、各ステップの処理について説明する。 ステップ S1では映像信号及ぴ撮影時の露光条件などのへッダ情報を読み込 む。 ステップ S2では映像信号から順次フレーム信号を抽出する。

ステップ S3では図 2 Bに示されるように所定サイズの局所領域を分離抽出 する。

ステップ S4では第 1のノイズ量の推定を行う。この処理は図 1 2 Bのフロー に従って実行され、 これについては後述する。

ステップ S5では第 2のノイズ量の推定を行う。この処理は図 1 2 Cのフロー に従って実行され、 これについては後述する。

ステップ S6ではノイズ低減処理を行う。この処理は図 1 2 Dのフローに従つ て実行され、 これについては後述する。

ステツプ S7ではノィズ低減処理がなされた信号を出力する。

ステップ S8では全ての局所領域が完了したかを判断し、完了していない場合 はステップ S3へ分岐し、 完了した場合はステップ S9へ分岐する。

ステップ S9では公知の捕間処理、強調処理、階調処理、圧縮処理が行われる。 ステツプ S10では処理が完了したフレーム信号が出力される。

ステップ S11では全てのフレーム信号が完了したかを判断し、 完了していな い場合はステップ S2へ分岐し、 完了した場合は終了する。

図 1 2 Bは、 図 1 2 Aのステップ S4における第 1ノイズ推定処理に関する フローである。 以下、 各ステップの処理について説明する。

ステップ S20では読み込まれたヘッダ情報から温度、 ゲインなどの情報を設 定する。 もし、ヘッダ情報に必要なパラメータが存在しない場合はこれに代え て所定の標準値を割り当てる。

ステツプ S21では (2)式に示されるように局所領域の平均値を算出する。 ステップ S22では基準ノィズモデルの座標データ及び補正係数を読み込む。 ステップ S23では注目画素値が属する基準ノィズモデルの区間の座標データ 及び対応する補正係数を選択する。

ステツプ S24では（5)式に示される補間処理にて基準ノィズ量を求める。 ステップ S25では（6)式に示される補正処理にて第 1のノイズ量を求める。 ステツプ S26では第 1のノィズ量を出力して終了する。

図 1 2 Cは、 図 1 2 Aのステップ S5における第 2ノイズ推定処理に関する フローである。 以下、 各ステップの処理について説明する。

ステップ S30ではノィズ低減処理がなされた過去の、 本実施形態では 1フレ ーム過去のフレーム信号を入力する。

ステップ S31では（7)式に示されるように差分信号を算出する。

ステップ S32では第 1のノィズ量を入力する。

ステップ S33では差分信号が第 1のノィズ量に含まれるか否かを比較判定す る。

ステツプ S34では（8)式に示されるように差分信号に第 1のノィズ量を上限 とする制約を設けることで第 2のノイズ量を求める。

ステップ S35では第 2のノィズ量を出力して終了する。

図 1 2 Dは、 図 1 2 Aのステップ S6におけるノイズ低減処理に関するフロ 一である。 以下、 各ステップの処理について説明する。

ステップ S40では第 2のノィズ量を入力する。

ステップ S41では、（1)式に示されるようにフレーム信号と第 2のノイズ量間 にて減算処理を行い、 ノイズ低減処理がなされた信号を求める。

ステップ S42ではノィズ低減処理がなされた信号を出力して終了する。

このように信号処理をソフトウェアにより行う構成としてもよく、ハードウ エアにより処理する場合と同じ作用効果が奏される。

続いて本発明の第 2の実施形態について説明する。

まず、その構成について説明する。図 1 3は第 2の実施形態の構成図である。 本実施形態は、図 1に示す第 1の実施形態における CCD102が CCD600へ、色信号 分離部 111が輝度色差分離部 601へ、 第 1ノィズ推定部 112が第 1ノィズ推定部 602へ、第 2ノィズ推定部 113が第 2ノィズ推定部 603へ、 ノィズ低減部 114がノ ィズ低減部 604へ置換された構成になっている。 基本構成は第 1の実施形態と 同等であり、 同一の構成には同一の名称と番号を割り当てている。 以下、異な る部分のみを説明する。

レンズ系 100、 絞り 101、 CCD600を介して撮影された映像信号は、増幅器 （図 中" Gain") 104にて増幅され、 A/Dコンバータ （図中〃 A/D") 105にてデジタル信 号へ変換され、 バッファ 106へ転送される。

バッファ 106は、 プリホワイ トバランス調整部 （図中" PreWB部"） 107、 測光 評価部 108、 合焦点検出部 109、 輝度色差分離部 601へ接続されている。 輝度色 差分離部 601は、 第 1ノイズ推定部 602、 第 2ノイズ推定部 603、 ノイズ低減部 604へ接続されている。 第 1ノイズ推定部 602は第 2ノイズ推定部 603へ、 第 2 ノィズ推定部 603はノィズ低減部 604へ接続されている。 ノィズ低減部 604は、 第 2ノイズ推定部 603及び信号処理部 115へ接続されている。 制御部 117は、 輝 度色差分離部 601、 第 1ノイズ推定部 602、 第 2ノイズ推定部 603、 ノイズ低減 部 604と双方向に接続されている。

続いてその信号処理の内容について説明する。基本的に第 1の実施形態と同 等であるので、 異なる部分のみ説明する。

図 1 3を参照しながら映像信号の流れを説明する。外部 I/F部 118を介してシ ャッターボタンを押すことで撮像モードに入る。レンズ系 100、絞り 101、CCD600 を介して撮影された映像信号はアナログ信号として所定時間間隔で連続的に 出力される。 なお、 本実施形態においては、 また、 CCD600としては色差線順次 型補色フィルタを前面に配置した単板 CCDを想定する。

図 1 4 Aは色差線順次型補色フィルタの構成を示す。色差線順次方式は 2 X 2 画素を基本単位とし、 シアン (Cy)、 マゼンタ（Mg)、 イェロー (Ye：)、 緑 (G)が 1 画素ずつ配置される。 ただし、 Mgと Gの位置はラインごとに反転している。

CCD600からの映像信号は、図 1 4 Aに示されるように上下のラインが加算さ れ、偶数ラインと奇数ラインに分離した 2つのフィールド信号（偶数フィール ド信号と奇数フィールド信号） から構成される。 また、上記所定時間間隔とし て 1/60秒（以後は 1フィールド時間と表記する） を想定する。偶数及び奇数フ ィールド信号を合成することで 1枚の映像信号が得られるが、 1枚の映像信号 をフレーム信号と表記する。上記フレーム信号は 1/30秒間隔で合成されること になる。

CCD600からのアナ口グ信号は増幅器 104にて所定量増幅され、 A/Dコンバータ 105にてデジタル信号へ変換されてバッファ 106へ転送される。バッファ 106は、 2フィールド信号、すなわち 1フレーム信号を記録可能で、撮影にともない順 次上書きされることになる。 輝度色差分離部 601は制御部 117の制御に基づき、 偶数及び奇数フィールド信号から輝度信号 Yと色差信号 Cb、 Crを算出する。 Y = G + Mg + Ye + Cy

Cb = (Mg + Cy) - (G +Ye) "' (10) Cr = (Mg + Ye) - (G + Cy)

この後、ノィズ低減処理の対象となる注目画素及び注目画素の近傍に位置す る近傍画素からなる局所領域を順次抽出する。本実施形態においては、局所領 域として輝度信号 Yは 5 X 5画素を、 色差信号 Cb、 Crは 5 X 3画素を想定する。 図 1 4 B、 1 4 Cは偶数及び奇数フィールド信号から抽出された局所領域を 示す。 図 1 4 Bは偶数フィールド信号から輝度信号 Yと色差信号 Crを抽出した 例を示す。色差信号 Crは 1ライン間隔でしか生成されないため、有効な画素は 5 X 3画素となる。また、 この例では色差信号 Cbは注目画素が得られないため使 用しない。なお、注目画素位置が異なれば、上記とは逆に色差信号 Cbが存在し、 色差信号 Crが存在しない例も発生する。

図 1 4 Cは奇数フィールド信号から輝度信号 Yと色差信号 Cbを抽出した例を 示す。 色差信号 Cbは、 1ライン間隔でしか生成されないため、 有効な画素は 5 X 3画素となる。 また、 この例では色差信号 Crは注目画素が得られないため使 用しなレ、。なお、注目画素位置が異なれば、上記とは逆に色差信号 Crが存在し、 色差信号 Cbが存在しない例も発生する。

以降は、 時刻 Tにおける局所領域内の画素値を ( （Cは信号で C=Y、 Crまたは C=Y、 Cb、 iは X座標で i=0〜4、 jは Y座標で偶数フィールド信号の輝度信号 Yの場 合は j =0、 2、 4、 6、 8、 偶数フィールド信号の色差信号 Crまたは Cbの場合は j =0、 4、 8、 奇数フィールド信号の輝度信号 Yの場合は j=l、 3、 5、 7、 9、 奇数フ ィールド信号の色差信号 Cbまたは Crの場合は j=l、 5、 9) で表記する。 注目画 素値は偶数フィ一ルド信号の場合 C^T ₂₄、 奇数フィールド信号の場合 C^T ₂₅となる。 なお、以後の説明は、図 1 4 Bに示されるような偶数フィールド信号かつ C=Y、 Crに関して行うが、 偶数フィールド信号かつ C=Y、 Cbや奇数フィールド信号に 関しても局所領域の構成が異なるだけで同様に成立する。

上記局所領域は第 1ノィズ推定部 602及びノィズ低減部 604八、上記注目画素 は第 2ノィズ推定部 603へ転送され'る。 第 1ノィズ推定部 602は、 制御部 117の 制御に基づき、 注目画素値 C^T ₂₄に関する第 1のノイズ量 C_N1^T ₂₄を推定し、 これ を第 2ノィズ推定部 603へ転送する。

第 2ノイズ推定部 603は、 制御部 117の制御に基づき、 輝度色差分離部 601か らの注目画素値 C^T ₂₄と後述するノィズ低減部 604からのノィズ低減処理がなさ れた複数の過去の信号間の差分信号を求め、 これらを第 1ノイズ推定部 602か らの第 1のノィズ量 C_N1^T ₂₄を用レ、て選択することで第 2のノィズ量 C_N2^T ₂₄を 推定し、 ノイズ低減部 604へ転送する。 本実施形態においては、 過去の信号と しては 2フィールド前 （1フレーム前） 、 1フィールド前、 1ライン前の三種 類を想定する。

ノイズ低減部 604は、 制御部 117の制御に基づき、 輝度色差分離部 601からの 注目画素値 C^T ₂₄に関して第 2ノィズ推定部 603からの第 2のノィズ量 C_N2^T ₂₄を 用いてコアリング処理を行うことでノイズ低減処理がなされた注目画素値 C' ^τ ₂₄を算出し、これを第 2ノィズ推定部 603及び信号処理部 115へ転送する。なお、 ノィズ低減部 604は、 第 1の実施形態のノィズ低減部 114のように注目画素値 C^T ₂₄と第 2のノィズ量 C_N2^T ₂₄の間で減算処理を行うことによってノィズ低減処 理がなされた注目画素値 C， ^τ ₂₄を算出するようにしてもよい。

上記輝度色差分離部 601、 第 1ノイズ推定部 602、 第 2ノイズ推定部 603、 ノ ィズ低減部 604における処理は、制御部 117の制御に基づき局所領域単位で同期 して行われる。

信号処理部 115は、制御部 117の制御に基づき、 ノイズ低減処理がなされた偶 数フィールド信号及び奇数フィールド信号に対して公知の同時化処理を行う ことでフレーム信号を合成し、上記フレーム信号に対して公知の強調処理、階 調処理、圧縮処理などを行い、 出力部 116、転送する。 出力部 116は、磁気ディ スクゃメモリカードなどの記録媒体に映像信号を記録保存する。

図 1 5はノイズ低減部 604の構成の一例を示すもので、 ノイズ低減部 604は、 局所領域抽出部 700、 平均算出部 701、 ノイズ量抽出部 702、 コアリング部 703 力 らなる。

輝度色差分離部 601は局所領域抽出部 700へ、 局所領域抽出部 700は平均算出 部 701及びコアリング部 703へ接続している。 第 2ノイズ推定部 603はノイズ量 抽出部 702へ、 ノイズ量抽出部 702はコアリング部 703へ接続している。 コアリ ング部 703は、 第 2ノイズ推定部 603及び信号処理部 115へ接続している。 制御 部 117は、 局所領域抽出部 700、 平均算出部 701、 ノイズ量抽出部 702、 コアリン グ部 703と双方向に接続されている。

以後の説明は、偶数フィールド信号に関して行う力 奇数フィールド信号に 関しても局所領域の構成が異なるだけで同様に成立する。

局所領域抽出部 700は、 制御部 117の制御に基づき、 輝度色差分離部 601から 局所領域を読み込み、 局所領域を平均算出部 701へ、 局所領域内の注目画素を コアリング部 703へ転送する。 平均算出部 701は、 制御部 117の制御に基づき、 局所領域の平均値 C_AV (C=Y、 Cr) を算出する。 Y AV = ——

- 25

∑

Cr AV = -^——

- 15 … ） αΐ)式において、 i=0〜4、 輝度信号 Yの場合は j =0、 2、 4、 6、 8、 色差信号 Crの場合は j =0、 4、 8となる。 算出された平均値 C_AVはコアリング部 703へ転 送される。

ノイズ量抽出部 702は、 制御部 117の制御に基づき、 第 2ノイズ推定部 603か ら第 2のノイズ量 C_N2^T ₂₄を読み込み、 コアリング部 703へ転送する。

コアリング部 703は、 制御部 117の制御に基づき、 局所領域抽出部 700からの 注目画素値 C^T ₂₄に対して平均算出部 701からの平均値 C_AV及びノイズ量抽出部 702からの第 2のノイズ量 C_N2^T ₂₄を用いてコアリング処理を行い、 ノイズ低減 処理がなされた注目画素値 C' ^τ ₂₄を求める。

C ^T ₂₄ = C^T ₂₄ - C_N2^T ₂₄ (C^T ₂₄≥C_AV+C_N2^T ₂₄ )

C， ^τ ₂₄ = C— AV (C_AV+C_N2^T ₂₄ > C^T ₂₄ > C_AV-C_N2^T ₂₄ ) · ' · (12)

C ^T ₂₄ = C^T ₂₄ + C— N2^T ₂₄ (C_AV-C_N2^T _Z4≥C^T ₂₄)

ノイズ低減処理がなされた注目画素値 C' ^τ ₂₄は、第 2ノイズ推定部 603及び信 号処理部 115 転送される。

なお、上記構成ではコアリング処理に局所領域の平均値を用いる構成となつ ていたが、 このような構成に限定される必要はない。例えば、第 2のノイズ量 C_N2^T ₂₄に対応した適用的なローパスフィルタ処理を行う構成も可能である。 図 1 6は、 ノイズ低減部 604の別構成の一例を示すもので、 図 1 5に示す平 均算出部 701を削除し、係数用 R0M704、 ローパスフィルタ部 705を追加した構成 になっている。 基本構成は図 1 5に示すノイズ低減部 604と同等であり、 同一 の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明す る。 局所領域抽出部 700、 ノィズ量抽出部 702、係数用 R0M704は、 口一パスフィル タ部 705へ接続している。 ローパスフィルタ部 705はコアリング部 703へ接続し ている。制御部 117はローパスフィルタ部 705と双方向に接続されている。 ロー パスフィルタ部 705は、 制御部 117の制御に基づき、 ノイズ量抽出部 702からの 第 2のノィズ量 C_N2^T ₂₄を用いて係数用 ROM704から口一パスフィルタ処理に用 いるフィルタ係数を選択して、 読み込む。

図 1 7は、係数用 R0M704に記録されているフィルタ係数の一例を示す、各フ ィルタはサイズが 5 X 5画素で、 Typel〜Type4までの 4種類の周波数特性が記録 されている。 なお、 図 1 7中の各係数の値は 128倍されている。 Typelは高周波 成分を残存し、 Type4へと順次高周波成分を抑制する周波数特性となっている。 口一パスフィルタ部 705は、 第 2のノィズ量 C_N2^T ₂₄から Typel〜Type4の周波数 特性を選択する。

この選択は、 例えば図 1 8に示されるノイズ量 Nとフィルタの種類 Type間の 関係に基づき行われる。 ノイズ量 Nが大きいほど高周波成分を抑制する周波数 特性のフィルタが選択されることになる。 ローパスフィルタ部 705は、 選択さ れたフィルタ係数に基づき、 局所領域抽出部 700からの局所領域に対してロー パスフィルタ処理を行う。

なお、 輝度信号 Yの場合は 5 X 5画素の局所領域で口一パスフィルタのサイズ と一致するが、色差信号 Crの場合は 5 X 3画素の局所領域でローパスフィルタの サイズと一致しない。 この場合は、存在しない画素に関してはローパスフィル タ処理の対象化から除外し、実際に使用された画素のフィルタ係数に基づき正 規化することで対応する。

ローパスフィルタ処理による結果はコアリング部 703へ転送される。 コアリ ング部 703は、 （12)式における平均値 C_AVを口一パスフィルタ処理の結果と置 き換えて、 コアリング処理を行う。

さらに、 局所領域の平均値の代わりにバイラテラル （Bilateral) フィルタ 処理を行う構成も可能である。 図 1 9は、 ノイズ低減部 604のバイラテラルフ ィルタ処理を行う構成の一例を示すもので、 図 1 5に示す平均算出部 701を削 除し、差成分算出部 706、差成分用 R0M707、重み係数合成部 708、座標用 R0M709、 フィルタリング部 710を追加した構成になっている。 基本構成は図 1 5に示す ノイズ低減部 604と同等であり、 同一の構成には同一の名称と番号を割り当て ている。 以下、 異なる部分のみ説明する。

局所領域抽出部 700は、 差成分算出部 706、 フィルタリング部 710、 コアリン グ部 703へ接続している。 差成分算出部 706は、 重み係数合成部 708、 フィルタ リング部 710を介してコアリング部 703へ接続している。差成分用 R0M707は差成 分算出部 706へ、座標用 R0M709は重み係数合成部 708へ接続している。制御部 117 は、 差成分算出部 706、 重み係数合成部 708、 フィルタリング部 710と双方向に 接続されている。

差成分算出部 706は、 制御部 117の制御に基づき、 局所領域抽出部 700から局 所領域を読み出し、 （13)式に示されるように注目画素値 C^T ₂₄との差成分の絶対 値 S ^T _Uを算出する。

δ ^τ" = I - c^T ₂₄| …( ） その後、 差成分算出部 706は差成分用 R0M707から差成分の絶対値 δ に対応 する第 1の重み係数 wlijを読み出す。 第 1の重み係数 wlijは、 例えば Q4)式に 示される関数式で定められる。

(14)式における σ ΐは調整用のパラメータで、 σ 1=1〜10程度を用いる。差成 分用 R0M707は、（14)式に示される関数式に基づき予め算出しておいた第 1の重 み係数 wlijを記録したテーブルである。

求められた第 1の重み係数 wlijは重み係数合成部 708へ転送される。 重み係 数合成部 708は、 制御部 117の制御に基づき、 差成分算出部 706からの第 1の重 み係数 wlij及び座標用 R0M709から座標値（i、 j)に対応する第 2の重み係数 」. を読み込み、 これらを合成する。 第 2の重み係数 w2ijは、 例えば（15)式に示さ れる関数式で定められる。 w¾ = ^{e 2 σ2}' —(15) (15)式における σ 2は調整用のパラメータで、 σ 2=1〜10程度を用いる。また、 Ti及び Tjは注目画素の座標を意味し、本実施形態においては Ti=2、 Tj=4となる。 座標用 R0M709は、（15)式に示される関数式に基づき予め算出しておいた第 2の 重み係数 を記録したテーブルである。 第 1の重み係数 wlij及び第 2の重み 係数 」は（16)式に基づき合成され、 重み係数 _Wijが算出される。

wiJ ^{= wl}'J - ²u —(16) 算出された重み係数 _Wijはフィルタリング部 710へ転送される。 フィルタリン グ部 710は、 制御部 117の制御に基づき、 局所領域抽出部 700からの局所領域に 対して重み係数合成部 708からの重み係数 を用いてフィルタリング処理を 行う。 なお、 上記フィルタリング処理は重み係数 w_iの総和で正規化される過 程も含まれる。 フィルタリング処理された結果はコアリング部 703へ転送され る。

コアリング部 703は、 （12)式における平均値 C_AVをフィルタリング処理の結 果と置き換えて、 コアリング処理を行う。

図 2 0は第 1ノイズ推定部 602の構成の一例を示すもので、 第 1の実施形態 の図 4に示される第 1ノィズ推定部 112にノィズテーブル部 800が追加され、パ ラメータ用 R0M304、 パラメータ選択部 305、 補間部 306、 補正部 307が省略され た形態になっている。 基本構成は図 4に示す第 1ノイズ推定部 112と同等であ り、 同一の構成には同一の名称と番号を割り当てている。 以下、異なる部分の み説明する。

輝度色差分離部 601は局所領域抽出部 300へ接続している。平均値算出部 301、 ゲイン算出部 302、標準値付与部 303は、ノィズテーブル部 800へ接続している。 ノィズテーブル部 800は、第 2ノィズ推定部 603へ接続している。制御部 117は、 ノイズテーブル部 800と双方向に接続されている。 なお、 以後の説明は、 説明 を簡単にするため、偶数フィールド信号に関して行う力 S、奇数フィールド信号 に関しても局所領域の構成が異なるだけで同様に成立する。

局所領域抽出部 300は、制御部 117の制御に基づき、図 1 4 Bに示される 5 X 5 画素または 5 X 3画素の局所領域を順次抽出し、 平均値算出部 301へ転送する。 平均値算出部 301は、制御部 117の制御に基づき、 （11)式に示されるように局 所領域抽出部 300からの局所領域に関する平均値 C_AVを求める。 平均値 C_AVは ノィズテ一ブル部 800へ転送される。

ゲイン算出部 302は、 制御部 117から転送される ISO感度及ぴ露光条件に関す る情報に基づき増幅器 104における增幅量を求め、ノィズテーブル部 800へ転送 する。 また、制御部 119は温度センサー 103から CCD600の温度情報を得て、 これ をノイズテーブル部 800へ転送する。

ノイズテーブル部 800は、 平均値算出部 301からの局所領域に関する平均値、 ゲイン算出部 302からのゲインの情報、制御部 117からの温度情報に基づきノィ ズ量を出力する。 ノイズテーブル部 800は、 温度、 信号値レベル、 ゲインとノ ィズ量間の関係を記録したルックアツプテーブルである。 ノィズテーブル部 800で得られたノィズ量 Nは注目画素値 C^T ₂₄の第 1のノィズ量 C_N1^T ₂₄として第 2 ノイズ推定部 113へ転送される。

なお、上記ノイズ量算出の過程において、温度 t、 ゲイン gなどの情報を撮影 ごとに求める必要はない。 任意の情報を標準値付与部 303に記録させておき、 算出過程を省略する構成も可能である。 これにより、高速処理や省電力化など が実現できる。また、 ここではルックアップテーブルを用いて第 1のノイズ量 C— Ν ₂₄を得ているが、第 1の実施形態と同様にノィズモデルを用いて第 1のノ ィズ量 C_N1^T ₂₄を得るようにしても構わない。 図 2 1は第 2ノイズ推定部 603の構成の一例を示すもので、 第 1の実施形態 の図 6に示される第 2ノィズ推定部 113にライン記録部 900、フィールド記録部 901、 フレーム記録部 902、 バッファ 903、 選択部 904が追加され、 記録部 400、 上限値設定部 403が省略された形態になっている。 基本構成は図 6に示す第 2 ノイズ推定部 113と同等であり、 同一の構成には同一の名称と番号を割り当て ている。 以下、 異なる部分のみ説明する。

ノィズ低減部 604はライン記録部 900、 フィールド記録部 901、 フレーム記録 部 902へ、 ライン記録部 900、 フィールド記録部 901、 フレーム記録部 902、 輝度 色差分離部 601は差分部 401へ接続している。差分部 401はバッファ 903へ、バッ ファ 903は比較部 402及び選択部 904へ接続している。第 1ノィズ推定部 602は比 較部 402へ、比較部 402は選択部 904 接続している。 制御部 117は、 ライン記録 部 900、 フィールド記録部 901、 フレーム記録部 902、選択部 904と双方向に接続 されている。 選択部 904は、 ノイズ低減部 604へ接続している。 以後の説明は偶 数フィールド信号に関して行う力 奇数フィールド信号に関しても局所領域の 構成が異なるだけで同様に成立する。

ノィズ低減部 604からのノィズ低減処理がなされた信号は、 画素単位でラィ ン記録部 900、 フィールド記録部 901、 フレーム記録部 902へ転送され、 記録さ れる。 ライン記録部 900は 1ライン前の信号を、 フィールド記録部 901は 1フィ —ルド前の信号を、 フレーム記録部 902を 1フレーム前の信号を記録する。 差分部 401は、 制御部 117の制御に基づき、 輝度色差分離部 601から注目画素 値 Υ^τ ₂₄または Cr^T ₂₄を、 ライン記録部 900から 1ライン前の信号 Y， ^τ ₂₂または Cr， ^τ ₂。 を、 フィールド記録部 901から 1フィールド前の信号 Y' ト 、 Y' ト または Cr' w₂₃、 Cr， ^τ を、 フレーム記録部 902から 1フレーム前の信号 Υ， ^{τ 2} ₂₄または Cr， 2₂₄を読み込み、 両者間で差分処理を行うことでライン差分信号 C_A ₂₄、 フィ 一ルド差分信号 Δ 2^Τ ₂₄、 フレーム差分信号 C_ A 3^T ₂₄を得る。 輝度信号に関して は、 γ " Λ 1^1τ 2 = Y ^{1 T} 24 - Υ ¹， τ

¹— 22

Υ— Δ 2^Τ ₂₄ = Υ^τ ₂₄ - (Υ' τ- ₃ + Υ， ^τ- /2 〜(17) Υ— Δ 3^Τ ₂₄ = Υ^τ ₂₄ - Υ， ^τ- ² ₂₄

色差信号に関しては、

Cr一 Δ ₂₄ = Cr^T ₂₄ - Cr' ^τ ₂₀

Cr一 Δ 2^Τ ₂₄ = Cr^T ₂₄ - (3Cr， ト + Cr' ^τ-1 ₂₇)/4 ·'· (18) Cr— Δ 3^Τ ₂₄ = Cr^T ₂₄ - Cr' ^τ— ² ₂₄

となる。 図 2 2 A、 図 2 2 Bは、 上記注目画素と 1ライン前の信号、 1フィー ルド前の信号、 1フレーム前の信号の位置関係を示す。

図 2 2 A (a)は、 B寺刻 Tにおける輝度信号に関する 5 X 5画素の局所領域と注目 画素 Υ^τ ₂₄を示す。 図 2 2 A (b)は、 時刻 Tの 1ライン前、 時刻 T- 1の 1フィールド 前、 時刻 T- 2の 1フレーム前のノィズ低減処理がなされた輝度信号を示す。 1 フレーム前の輝度信号からは注目画素 Υ^τ ₂₄と同一座標上の画素が選択される力 1ライン前及び 1フィールド前の輝度信号には同一座標上の画素が存在しな いため、 近傍画素が選択される。

図 2 2 B (a)は、時刻 Τにおける色差信号に関する 5 X 3画素の局所領域と注目 画素 Cr^T ₂₄を示す。 図 2 2 B (b)は、 時刻 Tの 1ライン前、 時刻 T-1の 1フィール ド前、 時刻 T - 2の 1フレーム前のノィズ低減処理がなされた色差信号を示す。 1フレーム前の色差信号からは注目画素 Cr^T ₂₄と同一座標上の画素が選択され る力 1ライン前及び 1フィールド前の色差信号には同一座標上の画素が存在 しないため、 近傍画素が選択される。

上記の画素配置に起因し、注目画素との相関性に関しては静止領域において は 1フレーム前≥ 1フィールド前 1ライン前の関係があり、ノイズ低減処理 に関する精度もこの順序となる。一方、動領域の精度は 1ライン≥ 1フィール ド前≥ 1フレーム前の関係がある。 （17)または（18)式に示される差分信号厶 2₄、 Δ 2^Τ ₂₄、 Δ 3^Τ ₂₄は、 ノくッファ 903へ転送され記録される。 比較部 402は、 制御部 117の制御に基づき、 バッファ 903から差分信号 Δ ₂₄、 Δ 2^Τ ₂₄、 Δ 3^Τ ₂₄を、 第 1ノイズ推定部 602から注目画素値 C^T ₂₄に対応する第 1のノ ィズ量 C_N1^T ₂₄を読み込み、 両者の比較を行う。 比較は 1フレーム前の Δ 3^Τ ₂₄、 1フィールド前の Δ 2^Τ ₂₄、 1ライン前の Δ ₂₄の順で行われ、 第 1のノイズ量 C_N1^T ₂₄以下となった場合に直ちに選択部 904へ結果が転送される。 これは、 静 止領域においては 1フレーム前、 1フィールド前、 1ライン前の順でノイズ低 減処理に関する精度が高いためで、この順で優先的に選択されるようにするた めである。

なお、 1ライン前の Δ 1^τ ₂₄でも第 1のノィズ量 C_N1^T ₂₄以下とならない場合は、 自動的に 1ライン前の信号が結果として選択され、 選択部 904へ転送される。 選択部 904は、 制御部 117の制御に基づき、 比較部 402の結果に従いバッファ 903から差分信号の一つを選択し、 これをノィズ低減部 604へ転送する。

なお、 フレーム間隔が十分に短い場合は、 1フレーム前、 1フィールド前の 信号に代えて数フレーム前、 数フィールド前の信号を用いても構わない。 続いて、 上記ノイズ低減処理による効果について説明する。

現在の映像信号から推定される第 1のノイズ量は動き成分を含まないので、 これを用いて動き成分とランダムノイズを分離することで、両成分を高い精度 で分離することができ、高品位な映像信号が得られる。 また、分離に使用する 第 1のノィズ量の推定はルックアツプテーブルを用いるため計算量が少なく、 システム全体の高速化が可能となる。

また、上記第 1のノイズ量の推定は、撮影ごとに異なる条件に動的に適応す るため、高精度かつ安定的な推定が可能となる。第 1のノイズ量に基づき最適 な第 2のノィズ量を選択する手法は容易であり、制御の簡略化が可能となり操 作性が向上する。

また、注目画素を含有する局所領域の低周波成分と第 2のノィズ量に基づき コアリング処理を用レ、ることでノィズ低減処理を行うため、ランダムノイズの みを重点的に低減でき、かつェッジなどのノィズ以外の画素との連続性が確保 でき、 高品位な映像信号が得られる。

上記低周波成分として平均値を用いる場合は、システム全体の高速化及び低 コスト化が可能となる。 また、 ローパスフィルタの処理結果を用いる場合は、 ノイズ量に影響されずに安定した低周波成分の抽出が可能となり、高精度なノ ィズ低減処理が可能となる。バイラテラルフィルタの処理結果を用いる場合は、 ノイズ量やエッジ成分の有無に影響されずに安定した低周波成分の抽出が可 能となり、 高精度なノイズ低減処理が可能となる。

ノィズ低減処理後の映像信号をラィン単位時間またはフィ一ルド単位時間 またはフレーム単位時間遅延するため、従来使用されている撮像素子及び信号 処理系との親和性、互換性が高く、多様な撮像システムに適応することが可能 となる。

また、輝度信号及び色差信号を独立に処理するため、動き成分とランダムノ ィズの分離を高精度化することができ、 高品位な映像信号が得られる。 また、 色差線順次型補色フィルタは現状の撮像系との親和性が高く、多様なシステム との組み合わせが可能となる。

なお、上記実施形態では撮像素子として色差線順次型補色フィルタを用いる 構成となっていたが、 このような構成に限定される必要はない。例えば、第 1 の実施形態と同様にべィヤー型原色フィルタを用いる構成も可能である。この 場合、 欠落する RGB信号を公知の補間処理により補い、 Q9)式に基づき輝度信 号と色差信号を求める。

Υ = 0. 29900R + 0. 58700G + 0. 11400B

Cb = -0. 16874R - 0. 33126G + 0. 50000B 〜（19) Cr = 0. 50000R― 0. 41869G - 0. 08131B

また、この場合はフレーム信号のみでフィールド信号が存在しないことにな る。 第 2ノイズ推定部 603は、 1ライン前の信号または 1フレーム前の信号か ら差分信号を求め、 両者から選択を行う構成になる。

さらに、上記実施形態ではハードウエアによる処理を前提としていたが、 こ のような構成に限定される必要はない。例えば、 CCD600からの映像信号を未処 理のままの Rawデータとして、制御部 117から CCD600の色フィルタや撮影時の露 光条件などの付随情報などをヘッダ情報として出力し、別途ソフトウェアにて 処理する構成も可能である。

図 2 3 Aは上記信号処理をコンピュータに実行させる場合のソフトウェア 処理に関するフローを示している。 なお、図 1 2 Aに示す第 1の実施形態にお ける信号処理のフロ一と同一のステツプに関しては、同一のステツプ数を割り 当てている。 以下、 各ステップの処理について説明する。

ステツプ S1では映像信号及ぴ撮影時の露光条件などのへッダ情報を読み込 む。

ステツプ S50では映像信号から偶数フィールド信号及び奇数フィールド信号 を順次抽出する。

ステップ S51では（10)式に示されるように輝度信号と色差信号を分離する。 分離後の輝度信号及び色差信号から図 1 4 B、 1 4 Cに示されるように、輝度 信号は 5 X 5画素、 色差信号は 5 X 3画素の局所領域が抽出される。

ステップ S52では第 1のノイズ量の推定を行う。 この処理は図 2 3 Bのフロ 一に従って実行され、 これについては後述する。

ステップ S53では第 2のノイズ量の推定を行う。 この処理は図 2 3 Cのフロ 一に従って実行され、 これについては後述する。

ステップ S54ではノイズ低減処理を行う。 この処理は図 2 3 Dのフローに従 つて実行され、 これについては後述する。

ステツプ S7ではノィズ低減処理がなされた信号を出力する。

ステップ S55では全ての輝度信号と色差信号の局所領域が完了したかを判断 し、 完了していない場合はステップ S51へ分岐し、 完了した場合はステップ S9 分岐する。

ステップ S9では偶数フィールド信号及び奇数フィールド信号から公知の同 時化処理にてフレーム信号を合成し、 フレーム信号に対して公知の強調処理、 階調処理、 圧縮処理が行われる。

ステップ S10では処理が完了したフレーム信号が出力される。

ステップ S5では全てのフィールド信号が完了したかを判断し、完了していな い場合はステップ S2へ分岐し、 完了した場合は終了する。

図 2 3 Bは、 図 2 3 Aのステップ S52における第 1ノイズ推定処理に関する フローである。 なお、図 1 2 Bに示す第 1の実施形態における第 1ノイズ推定 処理のフローと同一のステップに関しては、同一のステップ数を割り当ててい る。 以下、 各ステップの処理について説明する。

ステップ S20では読み込まれたヘッダ情報から温度、 ゲインなどの情報を設 定する。 もし、ヘッダ情報に必要なパラメータが存在しない場合は所定の標準 値を割り当てる。

ステップ S21では（11)式に示されるように局所領域の平均値を算出する。 ステップ S60では、 輝度信号または色差信号の信号値レベル、 ゲイン、 撮像 素子の動作温度とノィズ量間の関係を記録したノィズ量に関するテーブルを 読み込み、 第 1のノイズ量を求める。

ステップ S26では第 1のノイズ量を出力して終了する。

図 2 3 Cは、 図 2 3 Aのステップ S53における第 2ノイズ推定処理に関する フローである。 なお、図 1 2 Cに示す第 1の実施形態における第 2ノイズ推定 処理のフローと同一のステップに関しては、同一のステップ数を割り当ててい る。 以下、 各ステップの処理について説明する。

ステップ S70ではノイズ低減処理がなされた過去の 1ライン前、 1フィール ド前、 1フレーム前の信号を入力する。

ステップ S71では（17)、 （18)式に示されるように差分信号を算出する。 ステップ S32では第 1のノイズ量を入力する。

ステップ S72では 1フレーム前、 1フィールド前、 1ライン前の順で差分信 号と第 1のノィズ量間での比較を行う。上記比較は差分信号が第 1のノイズ量 以下となって時点で確定し、 1ライン前の差分信号が第 1のノイズ量以下にな らない場合は 1ライン前の差分信号を比較結果とする。

ステップ S73では、 比較結果に基づき差分信号を選択し、 これを第 2のノィ ズ量とする。

ステツプ S35では第 2のノィズ量を出力して終了する。

図 2 3 Dは、 図 2 3 Aのステップ S54におけるノイズ低減処理に関するフロ 一である。 なお、図 1 2 Dに示す第 1の実施形態におけるノイズ低減処理のフ ローと同一のステップに関しては、同一のステップ数を割り当てている。以下、 各ステップの処理について説明する。

ステツプ S40では第 2のノィズ量を入力する。

ステツプ S80では（11)式に示されるように局所領域の平均値を算出する。 ステップ S80では、 （12)式に示されるようにコアリング処理を行い、 ノイズ 低減処理がなされた信号を求める。

ステツプ S42ではノィズ低減処理がなされた信号を出力して終了する。

このように信号処理をソフトウェアにより行う構成としてもよく、ハードウ エアにより処理する場合と同じ作用効果が奏される。

以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用 例を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定 する趣旨ではない。

本願は 2007年 4月 13日に日本国特許庁に出願された特願 2007- 105925に基 づく優先権を主張し、特願 2007-105925の全ての内容は参照により本明細書に 組み込まれる。

Claims

請 求 の 範 囲

1 .撮像系から時系列的に取り込まれた映像信号に対しノィズ低減処理を行う 映像処理装置であって、

前記映像信号に対してノィズ低減処理を行ぅノィズ低減部と、

前記映像信号のうち現在の映像信号から第 1のノイズ量を推定する第 1の ノイズ推定部と、

前記第 1のノィズ量、前記現在の映像信号及び前記ノィズ低減処理後の過去 の映像信号に基づき第 2のノィズ量を推定する第 2のノィズ推定部と、 を備え、前記ノイズ低減部は、前記現在の映像信号に対しては、前記第 2のノ ィズ量に基づき前記ノィズ低減処理を行う映像処理装置。

2 . 請求項 1に記載の映像処理装置であって、

前記第 2のノィズ推定部が、前記第 1のノィズ量を用いて前記現在の映像信 号と前記ノィズ低減処理後の過去の映像信号との差分信号を補正することに より前記第 2のノィズ量を推定する映像処理装置。

3 . 請求項 2に記載の映像処理装置であって、

前記第 2のノイズ推定部が、

前記ノィズ低減処理後の映像信号を所定の単位時間で遅延させる遅延部と、 前記映像信号及び前記遅延された前記ノィズ低減処理後の映像信号間から 差分信号を算出する差分部と、

前記差分信号と前記第 1のノィズ量を比較する比較部と、

前記比較結果に基づき前記差分信号を補正することで前記第 2のノイズ量 を求める補正部と、

を備える映像処理装置。

4 . 請求項 2に記載の映像処理装置であって、

前記第 2のノイズ推定部が、

前記ノィズ低減処理後の映像信号を複数種類の所定の単位時間で遅延させ る遅延部と、

前記映像信号及び前記遅延された前記ノイズ低減処理後の複数の映像信号 間から複数の差分信号を算出する差分部と、

前記複数の差分信号と前記第 1のノィズ量を比較する比較部と、

前記比較結果に基づき前記複数の差分信号を選択することで前記第 2のノ ィズ量を求める選択部と、

を備える映像処理装置。

5 . 請求項 3に記載の映像処理装置であって、

前記遅延部が、前記所定の単位時間としてライン単位時間、 フィールド単位 時間及ぴフレーム単位時間の中から少なくとも一つを選択する映像処理装置。

6 . 請求項 3に記載の映像処理装置であって、

前記遅延部が、前記ノィズ低減処理後の映像信号を記録する記録部を備える 映像処理装置。

7 . 請求項 3に記載の映像処理装置であって、

前記補正部が、前記差分信号の絶対値が前記第 1のノィズ量以上の場合に前 記差分信号に上限値を設定する上限値設定部を備える映像処理装置。

8 . 請求項 3に記載の映像処理装置であって、

前記補正部が、前記差分信号の絶対値が前記第 1のノィズ量以上の場合に前 記差分信号を零に置換する置換部を備える映像処理装置,

9 . 請求項 1に記載の映像処理装置であって、

前記ノイズ低減部が、

前記現在の映像信号から前記ノィズ低減処理を行う注目画素を抽出する画 素抽出部と、

前記注目画素に対応する前記第 2のノィズ量を抽出するノィズ量抽出部と、 前記注目画素の値と前記注目画素に対応する前記第 2のノィズ量間で減算 処理を行う減算部と、

を備える映像処理装置。

1 0 . 請求項 1に記載の映像処理装置であって、

前記ノイズ低減部が、

前記現在の映像信号からノィズ低減処理を行う注目画素及び前記注目画素 近傍に位置する少なくとも 1つ以上の近傍画素からなる局所領域を抽出する 局所領域抽出部と、

前記局所領域から低周波成分を抽出する低周波抽出部と、

前記注目画素に対応する前記第 2のノイズ量を抽出するノィズ量抽出部と、 前記注目画素に対応する前記第 2のノィズ量及び前記低周波成分に基づき 前記注目画素の値に対してコアリング処理を行うコアリング部と、

を備える映像処理装置。

1 1 . 請求項 1 0に記載の映像処理装置であって、

前記低周波抽出部が、前記局所領域から平均値を算出する平均値算出部を備 える映像処理装置。

1 2 . 請求項 1 0に記載の映像処理装置であって、

前記低周波抽出部が、前記局所領域に対して口一パスフィルタを適用する口 一パスフィルタ部を備える映像処理装置。

1 3 . 請求項 1 0に記載の映像処理装置であって、

前記低周波抽出部が、前記局所領域に対してバイラテラルフィルタを適用す るバイラテラルフィルタ部を備える映像処理装置。

1 4 . 請求項 1に記載の映像処理装置であって、

前記第 1のノイズ推定部がノイズモデルを用いて前記現在の映像信号から 前記第 1のノィズ量を推定する映像処理装置。

1 5 . 請求項 1 4に記載の映像処理装置であって、

前記第 1のノイズ推定部が、

前記現在の映像信号から前記ノィズ低減処理を行う注目画素及ぴ前記注目 画素近傍に位置する少なくとも 1つ以上の近傍画素からなる局所領域を抽出 する局所領域抽出部と、

前記局所領域の平均値を算出する平均値算出部と、

前記撮像系の温度値及び前記現在の映像信号に対するゲインに関する情報 を収集する収集部と、

基準ノィズモデルに関するパラメータ群を記録するパラメータ記録部と、 前記収集部からの情報及び前記局所領域の平均値に基づき前記パラメータ 群から必要となるパラメータを選択するパラメータ選択部と、

前記局所領域の平均値及び前記選択されたパラメータに基づき補間演算に より前記注目画素のノィズ量を求める補間部と、

を備える映像処理装置。

1 6 . 請求項 1 5に記載の映像処理装置であって、

前記収集部で得られない情報に関して標準値を付与する付与部を備え、 前記パラメータ選択部は、前記収集部または前記付与部からの情報及び前記 局所領域の平均値に基づき前記パラメータ群から前記必要となるパラメータ を選択する映像処理装置。

1 7 . 請求項 1に記載の映像処理装置であって、

前記第 1のノイズ推定部が、

前記現在の映像信号から前記ノィズ低減処理を行う注目画素及び前記注目 画素近傍に位置する少なくとも 1つ以上の近傍画素からなる局所領域を抽出 する局所領域抽出部と、

前記局所領域の平均値を算出する平均値算出部と、

前記撮像系の温度値及び前記現在の映像信号に対するゲインに関する情報 を収集する収集部と、

前記収集部からの情報及び前記局所領域の平均値を入力として前記注目画 素のノィズ量を出力するノィズテーブル部と、

を備える映像処理装置。

1 8 . 請求項 1 7に記載の映像処理装置であって、

前記収集部で得られない情報に関して標準値を付与する付与部を備え、 前記ノィズテーブル部は、前記収集部または前記付与部からの情報及び前記 局所領域の平均値を入力として前記注目画素のノィズ量を出力する映像処理 装置。

1 9 . 請求項 1に記載の映像処理装置であって、 前記撮像系が色フィルタを前面に配置した撮像素子を使用する撮像系であ

<9、

前記装置が、

前記撮像素子に使用される色フィルタごとに前記映像信号を複数の色信号 に分離する色信号分離部と、

前記色信号ごとに前記ノィズ低減部、前記第 1のノィズ推定部及び前記第 2 のノィズ推定部を順次適用するよう制御する信号制御部と、

を備える映像処理装置。

2 0 . 請求項 1に記載の映像処理装置であって、

前記撮像系が色フィルタを前面に配置した撮像素子を使用する撮像系であ り、

前記装置が、

前記映像信号から輝度信号及び色差信号を分離する輝度色差分離部と、 前記輝度信号、前記色差信号ごとに前記ノィズ低減部、前記第 1のノイズ推 定部及び前記第 2のノィズ推定部を順次適用するよう制御する信号制御部と、 を備える映像処理装置。

2 1 . 請求項 1 9に記載の映像処理装置であって、

前記撮像素子がべィヤー型原色フィルタまたは色差線順次型補色フィルタ を前面に配置した撮像素子である映像処理装置。

2 2 .撮像系から時系列的に取り込まれた映像信号に対しノィズ低減処理を行 う映像処理プログラムであって、

前記映像信号に対してノィズ低減処理を行ぅノィズ低減ステツプと、 前記映像信号のうち現在の映像信号から第 1のノィズ量を推定する第 1の ノイズ推定ステップと、

前記第 1のノィズ量、前記現在の映像信号及び前記ノィズ低減処理後の過去 の映像信号に基づき第 2のノィズ量を推定する第 2のノィズ推定ステツプと、 を備え、 前記ノイズ低減ステップは、前記現在の映像信号に対しては、 前記第 2のノィズ量に基づき前記ノィズ低減処理を行う映像処理プロダラム。

2 3 .撮像系から時系列的に取り込まれた映像信号に対しノィズ低減処理を行 う映像処理方法であって、

前記映像信号に対してノィズ低減処理を行ぅノィズ低減ステップと、 前記映像信号のうち現在の映像信号から第 1のノイズ量を推定する第 1の ノイズ推定ステップと、

前記第 1のノィズ量、前記現在の映像信号及び前記ノィズ低減処理後の過去 の映像信号に基づき第 2のノィズ量を推定する第 2のノィズ推定ステツプと、 を備え、 前記ノイズ低減ステップは、前記現在の映像信号に対しては、前記第 2のノィズ量に基づき前記ノィズ低減処理を行う映像処理方法。