JP5052189B2 - 映像処理装置及び映像処理プログラム - Google Patents

映像処理装置及び映像処理プログラム Download PDF

Info

Publication number
JP5052189B2
JP5052189B2 JP2007105925A JP2007105925A JP5052189B2 JP 5052189 B2 JP5052189 B2 JP 5052189B2 JP 2007105925 A JP2007105925 A JP 2007105925A JP 2007105925 A JP2007105925 A JP 2007105925A JP 5052189 B2 JP5052189 B2 JP 5052189B2
Authority
JP
Japan
Prior art keywords
unit
noise
signal
noise reduction
video signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007105925A
Other languages
English (en)
Other versions
JP2008263507A (ja
Inventor
建夫 鶴岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2007105925A priority Critical patent/JP5052189B2/ja
Priority to PCT/JP2008/056510 priority patent/WO2008129926A1/ja
Publication of JP2008263507A publication Critical patent/JP2008263507A/ja
Priority to US12/576,677 priority patent/US8154630B2/en
Application granted granted Critical
Publication of JP5052189B2 publication Critical patent/JP5052189B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
    • H04N25/6153—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF] for colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Processing (AREA)

Description

本発明は、撮像系に起因する映像信号のランダムノイズの低減処理技術に関し、特に巡回型のノイズ低減処理に関する。
撮像素子とそれに付随するアナログ回路及びA/Dコンバータなどから構成される撮像系から得られる映像信号は、一般にノイズ成分を含有する。このノイズ成分は、固定パターンノイズとランダムノイズに大別できる。固定パターンノイズは、欠陥画素などに代表される主に撮像素子に起因するノイズである。一方、ランダムノイズは撮像素子及びアナログ回路で発生するもので、ホワイトノイズ特性に近い特性を有する。
動画像におけるランダムノイズの低減処理としては、時間軸方向の相関性を用いた巡回型のノイズ低減処理がある。巡回型のノイズ低減処理は、映像信号自体は過去の映像信号と相関性が高く、一方、ランダムノイズは過去の映像信号と相関性が低いことを利用し、現在と過去の映像信号間にて差分処理を行うことでランダムノイズのみを抽出し、抽出されたランダムノイズを用いて現在の映像信号のノイズ低減処理を行うものである。
この場合、課題となるのは被写体が変化する動領域において差分処理を行うと動き成分もまたランダムノイズと共に抽出されてしまうことにある。このため、差分処理を行った信号から動き成分を除去する精度が、巡回型のノイズ低減処理の精度を左右する要因となる。
このような動き成分を除去する方法としては、例えば、特開平10-13734号公報では映像信号から動き成分を検出し、検出された動き成分に基づき差分処理を行った信号に対するリミット値と帰還係数を制御する方法が開示されている。これにより、動き成分が少ないときはノイズ低減処理を強めに行いノイズ量の少ない映像信号を、動き成分が大きいときはノイズ低減処理を弱めに行い残像の少ない映像信号を得ることが可能となる。
また、特開2000-209507公報では差分処理を行った信号値から帰還係数を制御する方法が開示されている。差分処理を行った信号値が小さい場合はランダムノイズと判断し、帰還係数を大きくすることでノイズ量の少ない映像信号を、差分処理を行った信号値が大きい場合は動き成分と判断し、帰還係数を小さくすることで残像の少ない映像信号を得ることが可能となる。
さらに、特開2006-23959公報ではノイズ量をノイズモデルに基づきブロック単位に推定して、ブロック単位にノイズ低減処理を制御する例が開示されている。
特開平10-13734号公報 特開2000-209507公報 特開2006-23959公報
特開平10-13734号公報では動き成分を検出することで高精度なノイズ低減処理が可能となるが、一般に動き成分の検出処理は計算量が多く処理時間が長くなること、及び全体としてコストが高くなるという課題がある。また、動き成分とランダムノイズという性質が異なる信号間の処理は、制御のためのパラメータ設定が複雑になり、操作性が低下するという課題がある。
また、特開2000-209507公報では差分処理を行った信号値で制御を行うため計算量が少なく低コスト化が可能であるが、動き成分とランダムノイズの分離精度が低く高品位な映像信号が得られないという課題がある。
さらに、特開2006-23959公報では時間軸方向の相関性を用いた巡回型のノイズ低減処理とは独立しており、相互を最適に活用できないという課題がある。
本発明は、上記問題点に着目してなされたもので、巡回型のノイズ低減処理において、動き成分とランダムノイズを高精度に分離することで高品位な映像信号を得られるようにすることを目的とする。
（請求項１、５、６）
請求項１に記載の発明は、撮像系から時系列的に取り込まれた映像信号に対しノイズ低減処理を行う映像処理装置において、前記映像信号に対してノイズ低減処理を行うノイズ低減手段と、前記映像信号のうち現在の映像信号から第１のノイズ量を推定する第１のノイズ推定手段と、前記第１のノイズ量、前記現在の映像信号及び前記ノイズ低減処理後の過去の映像信号に基づき第２のノイズ量を推定する第２のノイズ推定手段と、を備え、前記ノイズ低減手段が、前記現在の映像信号からノイズ低減処理を行う注目画素及び前記注目画素近傍に位置する少なくとも１つ以上の近傍画素からなる局所領域を抽出する局所領域抽出手段と、前記局所領域から低周波成分を抽出する低周波抽出手段と、前記注目画素に対応する前記第２のノイズ量を抽出するノイズ量抽出手段と、前記注目画素に対応する前記第２のノイズ量及び前記低周波成分に基づき前記注目画素の値に対してコアリング処理を行うコアリング手段と、を備えたことを特徴とする映像処理装置である。
請求項５に記載の発明は、撮像系から時系列的に取り込まれた映像信号に対しノイズ低減処理を行う映像処理方法において、前記映像信号に対してノイズ低減処理を行うノイズ低減手順と、前記映像信号のうち現在の映像信号から第１のノイズ量を推定する第１のノイズ推定手順と、前記第１のノイズ量、前記現在の映像信号及び前記ノイズ低減処理後の過去の映像信号に基づき第２のノイズ量を推定する第２のノイズ推定手順と、を含み、前記ノイズ低減手順が、前記現在の映像信号からノイズ低減処理を行う注目画素及び前記注目画素近傍に位置する少なくとも１つ以上の近傍画素からなる局所領域を抽出する局所領域抽出手順と、前記局所領域から低周波成分を抽出する低周波抽出手順と、前記注目画素に対応する前記第２のノイズ量を抽出するノイズ量抽出手順と、前記注目画素に対応する前記第２のノイズ量及び前記低周波成分に基づき前記注目画素の値に対してコアリング処理を行うコアリング手順と、を含むことを特徴とする映像処理方法である。
請求項６に記載の発明は、撮像系から時系列的に取り込まれた映像信号に対しノイズ低減処理をコンピュータに実行させるための映像処理プログラムにおいて、前記映像信号に対してノイズ低減処理を行うノイズ低減手順と、前記映像信号のうち現在の映像信号から第１のノイズ量を推定する第１のノイズ推定手順と、前記第１のノイズ量、前記現在の映像信号及び前記ノイズ低減処理後の過去の映像信号に基づき第２のノイズ量を推定する第２のノイズ推定手順と、をコンピュータに実行させ、前記ノイズ低減手順では、前記現在の映像信号からノイズ低減処理を行う注目画素及び前記注目画素近傍に位置する少なくとも１つ以上の近傍画素からなる局所領域を抽出する局所領域抽出手順と、前記局所領域から低周波成分を抽出する低周波抽出手順と、前記注目画素に対応する前記第２のノイズ量を抽出するノイズ量抽出手順と、前記注目画素に対応する前記第２のノイズ量及び前記低周波成分に基づき前記注目画素の値に対してコアリング処理を行うコアリング手順と、をコンピュータに実行させることを特徴とする映像処理プログラムである。
この発明に対応する実施形態は図１３〜図２３Ｄに示される第２の実施形態である。局所領域抽出手段は図１５、図１６、図１９に示される局所領域抽出部700が、低周波抽出手段は図１５に示される平均算出部701、図１６に示される係数用ROM704及びローパスフィルタ部705、あるいは、図１９に示される差成分算出部706、差成分用ROM707、重み係数合成部708、座標用ROM709及びフィルタリング部710が、ノイズ量抽手段は図１５、図１６、図１９に示されるノイズ量抽出部702が、コアリング手段は図１５、図１６、図１９に示されるコアリング部703が対応する。
この発明の好ましい適用例は、局所領域抽出部700にて映像信号からノイズ低減処理を行う注目画素及び注目画素近傍に位置する少なくとも１つ以上の近傍画素からなる局所領域を抽出し、平均算出部701、係数用ROM704及びローパスフィルタ部705、あるいは、差成分算出部706、差成分用ROM707、重み係数合成部708、座標用ROM709及びフィルタリング部710にて局所領域から低周波成分を抽出し、コアリング部703にて注目画素に対応する第２のノイズ量及び低周波成分に基づき注目画素に対してコアリング処理を行う映像処理装置である。
この発明によれば、注目画素を含有する局所領域の低周波成分と第２のノイズ量に基づき注目画素にコアリング処理を行うことによりノイズ低減処理を行う。ランダムノイズのみを重点的に低減でき、かつエッジなどのノイズ以外の画素との連続性が確保できるため、高品位な映像信号が得られる。
（請求項２）
請求項２に記載の発明は、請求項１に記載の映像処理装置において、前記低周波抽出手段が、前記局所領域から平均値を算出する平均値算出手段を備えたことを特徴とする映像処理装置である。
この発明に対応する実施形態は図１３〜図２３Ｄに示される第２の実施形態である。平均値算出手段は図１５に示される平均算出部701が対応する。
この発明の好ましい適用例は、平均算出部701にて局所領域から平均値を算出する映像処理装置である。
この発明によれば、局所領域の低周波成分として平均値を用いる。平均値の算出は容易であり、システム全体の高速化及び低コスト化が可能になる。
（請求項３）
請求項３に記載の発明は、請求項１に記載の映像処理装置において、前記低周波抽出手段が、前記局所領域に対してローパスフィルタを適用するローパスフィルタ手段を備えたことを特徴とする映像処理装置である。
この発明に対応する実施形態は図１３〜図２３Ｄに示される第２の実施形態である。ローパスフィルタ手段は図１６に示される係数用ROM704及びローパスフィルタ部705が対応する。
この発明の好ましい適用例は、係数用ROM704及びローパスフィルタ部705にて局所領域に対してローパスフィルタを適用する映像処理装置である。
この発明によれば、局所領域の低周波成分としてローパスフィルタの処理結果を用いる。ノイズ量に影響されずに安定した低周波成分の抽出が可能となり、高精度なノイズ低減処理が可能となる。また、ローパスフィルタは実装が比較的容易で、システム全体の高速化及び低コスト化を可能とする。
（請求項４）
請求項４に記載の発明は、請求項１に記載の映像処理装置において、前記低周波抽出手段が、前記局所領域に対してバイラテラルフィルタを適用するバイラテラルフィルタ手段を備えたことを特徴とする映像処理装置である。
この発明に対応する実施形態は図１３〜図２３Ｄに示される第２の実施形態が対応する。バイラテラルフィルタ手段は図１９に示される差成分算出部706、差成分用ROM707、重み係数合成部708、座標用ROM709及びフィルタリング部710が対応する。
この発明の好ましい適用例は、差成分算出部706、差成分用ROM707、重み係数合成部708、座標用ROM709及びフィルタリング部710にて局所領域に対してバイラテラルフィルタを適用する映像処理装置である。
この発明によれば、局所領域の低周波成分としてバイラテラルフィルタの処理結果を用いる。ノイズ量やエッジ成分の有無に影響されずに安定した低周波成分の抽出が可能となり、高精度なノイズ低減処理が可能となる。
巡回型のノイズ低減処理において、動き成分を含まない現在の映像信号から第１のノイズ量を求め、過去の映像信号との差分信号に対して第１のノイズ量に基づき動き成分とランダムノイズを分離する構成のため、動き成分とランダムノイズを高精度に分離することができ、高品位な映像信号が得られる。また、第１のノイズ量に基づきランダムノイズを分離する構成のため、性質的に同質な信号間の処理となり、制御の簡略化及び操作性の向上が可能となる。
以下、添付図面を参照しながら本発明の実施形態について説明する。
まず、その構成について説明する。図１は第１の実施形態の構成図である。レンズ系100、絞り101、CCD102を介して撮影された映像信号は、増幅器（図中"Gain"）104にて増幅され、A/Dコンバータ（図中"A/D"）105にてデジタル信号へ変換される。A/Dコンバータ105からの映像信号は、バッファ106を介して色信号分離部111へ転送される。
バッファ106は、プリホワイトバランス調整部（図中"PreWB部"）107、測光評価部108、合焦点検出部109へも接続されている。プリホワイトバランス調整部107は増幅器104へ、測光評価部108は絞り101、CCD102、増幅器104へ、合焦点検出部109はAFモータ110へ接続されている。
色信号分離部111は、第１ノイズ推定部112、第２ノイズ推定部113、ノイズ低減部114へ接続されている。第１ノイズ推定部112は第２ノイズ推定部113へ、第２ノイズ推定部113はノイズ低減部114へ接続されている。ノイズ低減部114は、第２ノイズ推定部113及び信号処理部115へ接続されている。信号処理部115は、メモリカードなどの出力部116に接続されている。
マイクロコンピュータなどの制御部117は、増幅器104、A/D105、プリホワイトバランス調整部107、測光評価部108、合焦点検出部109、色信号分離部111、第１ノイズ推定部112、第２ノイズ推定部113、ノイズ低減部114、信号処理部115、出力部116と双方向に接続されている。
また、電源スイッチ、シャッターボタン、撮影時の各種モードの切り替えの設定を行うためのインターフェースを備えた外部I/F部118も制御部117に双方向に接続されている。さらに、CCD102の近傍に配置された温度センサー103からの信号は制御部117へ接続されている。
続いて、信号処理の内容について説明する。
図１を参照しながら映像信号の流れを説明する。外部I/F部118を介してISO感度などの撮影条件を設定した後、シャッターボタンを押すことで撮像モードに入る。レンズ系100、絞り101、CCD102を介して撮影された映像信号はアナログ信号として所定時間間隔で連続的に出力される。以後、連続的に出力される複数の映像信号を単に映像信号、１枚の映像信号をフレーム信号と表記する。また、本実施形態においては上記所定時間間隔として1/30秒（以後は１フレーム時間と表記する）を想定する。さらに、CCD102としてはベイヤー（Bayer）型原色フィルタを前面に配置した単板CCDを想定する。
図２(a)はベイヤー型原色フィルタの構成を示す。ベイヤー型は2×2画素を基本単位とし、赤(R)、青(B)フィルタが１画素ずつ、緑(Gr、Gb)フィルタが２画素配置される。なお、緑フィルタは同一な特性であるが、本例では処理の便宜上これをGrとGbに区別するものとする。上記アナログ信号は増幅器104にて所定量増幅され、A/Dコンバータ105にてデジタル信号へ変換されてバッファ106へ転送される。
バッファ106は、１フレーム信号を記録可能で、撮影にともない順次上書きされることになる。バッファ106内のフレーム信号は、制御部117の制御に基づき、所定のフレーム時間間隔で間欠的にプリホワイトバランス調整部107、測光評価部108及び合焦点検出部109へ転送される。
プリホワイトバランス調整部107では所定レベルの信号を色フィルタに対応する色信号ごとに積算することで、簡易ホワイトバランス係数を算出する。上記係数を増幅器104へ転送し、色信号ごとに異なるゲインを乗算させることでホワイトバランスを行わせる。
測光評価部108では、設定されたISO感度、手ぶれ限界のシャッター速度などを加味し、適正露光となるよう絞り101やCCD102の電子シャッター速度や増幅器104の増幅率などを制御する。また、合焦点検出部109では、映像信号中のエッジ強度を検出し、これが最大となるようにAFモータ110を制御することで合焦信号を得る。
プリホワイトバランス調整部107にて求められたホワイトバランス係数、測光評価部108にて求められた露光条件、合焦点検出部109にて求められた合焦条件は制御部117へ転送される。
一方、色信号分離部111は制御部117の制御に基づき、以後のノイズ低減処理の対象となる注目画素及び注目画素の近傍に位置する近傍画素からなる局所領域を色信号ごとに順次抽出する。
本実施形態においては、例えば図２(a)に示される10×10画素を基本単位としてフレーム信号から抽出する。この場合、ノイズ低減処理の対象となる注目画素はR22、Gr22、Gb22、B22の4画素となる。
次に、図２(b)に示されるようにR、Gr、Gb、Bの色フィルタごとに5×5画素の局所領域として分離する。以降は、時刻Tにおける局所領域内の画素値をCT ij（Cは色信号でC=R、Gr、Gb、B、iはX座標でi=0〜4、jはY座標でj=0〜4）で表記する。5×5画素の局所領域の場合、注目画素値はCT 22となる。
上記局所領域は第１ノイズ推定部112へ、上記注目画素は第２ノイズ推定部113、ノイズ低減部114へ転送される。第１ノイズ推定部112は、制御部117の制御に基づき、注目画素値CT 22に関する第１のノイズ量C_N1T 22を推定し、これを第２ノイズ推定部113へ転送する。
第２ノイズ推定部113は、制御部117の制御に基づき、色信号分離部111からの注目画素値CT 22と後述するノイズ低減部114からのノイズ低減処理がなされた過去の注目画素値間の差分信号を求め、これを第１ノイズ推定部112からの第１のノイズ量C_N1T 22を用いて補正することで第２のノイズ量C_N2T 22を推定し、これをノイズ低減部114へ転送する。
本実施形態においては、過去の注目画素としては１フレーム時間前の時刻T-1のフレーム信号を想定し、ノイズ低減処理がなされた画素値をC'で表記することとする。注目画素値CT 22に関するノイズ低減処理がなされた過去の注目画素値はC'T-1 22となる。
ノイズ低減部114は、制御部117の制御に基づき、色信号分離部111からの注目画素値CT 22に関して第２ノイズ推定部113からの第２のノイズ量C_N2T 22を差分することで、ノイズ低減処理がなされた注目画素値C'T 22を算出し、これを第２ノイズ推定部113及び信号処理部115へ転送する。なお、ノイズ低減部114は後述する第２の実施形態のノイズ低減部604のように注目画素値CT 22に関して第２のノイズ量C_N2T 22を用いてコアリング処理を行うことでノイズ低減処理がなされた注目画素値C'T 22を算出するようにしてもよい。
上記色信号分離部111、第１ノイズ推定部112、第２ノイズ推定部113、ノイズ低減部114における処理は、制御部117の制御に基づき局所領域単位で同期して行われる。
信号処理部115は、制御部117の制御に基づき、ノイズ低減処理がなされたフレーム信号に対して公知の補間処理、強調処理、階調処理、圧縮処理などを行い、出力部116へ転送する。出力部116は、磁気ディスクやメモリカードなどの記録媒体に映像信号を記録保存する。
図３はノイズ低減部114の構成の一例を示すもので、ノイズ低減部114は、画素抽出部200、ノイズ量抽出部201、減算部202からなる。
色信号分離部111は画素抽出部200へ、第２ノイズ推定部113はノイズ量抽出部201へ接続している。画素抽出部200及びノイズ量抽出部201は、減算部202へ接続している。減算部202は、第２ノイズ推定部113及び信号処理部115へ接続している。制御部117は、画素抽出部200、ノイズ量抽出部201、減算部202と双方向に接続されている。
画素抽出部200は、制御部117の制御に基づき、色信号分離部111から注目画素値CT 22を読み込み、減算部202へ転送する。ノイズ量抽出部201は、制御部117の制御に基づき、第２ノイズ推定部113から第２のノイズ量C_N2T 22を読み込み、減算部202へ転送する。
減算部202は、制御部117の制御に基づき、画素抽出部200からの注目画素値CT 22とノイズ量抽出部201からの第２のノイズ量C_N2T 22の間で減算処理を行い、ノイズ低減処理がなされた注目画素値C'T 22を求める。
ノイズ低減処理がなされた注目画素値C'T 22は、第２ノイズ推定部113及び信号処理部115へ転送される。
図４は第１ノイズ推定部112の構成の一例を示すもので、第１ノイズ推定部112は、局所領域抽出部300、平均値算出部301、ゲイン算出部302、標準値付与部303、パラメータ用ROM304、パラメータ選択部305、補間部306、補正部307からなる。
色信号分離部111は、局所領域抽出部300を介して平均値算出部301へ接続している。平均値算出部301、ゲイン算出部302、標準値付与部303、パラメータ用ROM304は、パラメータ選択部305へ接続している。パラメータ選択部305は、補間部306及び補正部307へ接続している。補間部306は補正部307へ、補正部307は第２ノイズ推定部113へ接続している。制御部117は、局所領域抽出部300、平均値算出部301、ゲイン算出部302、標準値付与部303、パラメータ選択部305、補間部306、補正部307と双方向に接続されている。
局所領域抽出部300は、制御部117の制御に基づき、図２(b)に示される5×5画素の局所領域を順次抽出し、平均値算出部301へ転送する。平均値算出部301は、制御部117の制御に基づき、局所領域抽出部300からの局所領域に関する平均値C_AVを求める。
(2)式に示される平均値C_AVは、パラメータ選択部305へ転送される。
ゲイン算出部302は、制御部117から転送されるISO感度及び露光条件に関する情報に基づき増幅器104における増幅量を求め、パラメータ選択部305へ転送する。また、制御部117は温度センサー103からCCD102の温度情報を得て、これをパラメータ選択部305へ転送する。
パラメータ選択部305は、平均値算出部301からの局所領域の平均値、ゲイン算出部302からのゲインの情報、制御部117からの温度情報に基づき第１のノイズ量を推定する。
図５は、第１のノイズ量の推定に関する説明図である。図５(a)は、信号レベルLに対するノイズ量Nをプロットしたもので、信号レベルに対して２次曲線的に増加している。図５(a)を２次関数でモデル化すると(3)式が得られる。
ここで、α、β、γは定数項である。しかしながら、ノイズ量は信号レベルだけではなく、撮像素子の温度やゲインによっても変化する。図５(a)は、一例としてある温度下においてゲインに関連する３種類のISO感度100、200、400に対するノイズ量をプロットしている。個々の曲線は(3)式に示される形態をしているが、その係数はゲインに関連するISO感度により異なる。温度をt、ゲインをgとし、上記を考慮した形でモデルの定式化を行うと、
となる。ここで、αgt、βgt、γgtは定数項である。
ただし、(4)式の関数を複数記録し、その都度演算によりノイズ量を算出することは処理的に煩雑である。このため、図５(b)に示すようなモデルの簡略化を行う。図５(b)においては、最大のノイズ量を与えるモデルを基準ノイズモデルとして選択し、これを所定数の折れ線で近似する。折れ線の変曲点は、信号レベルLとノイズ量Nからなる座標データ(Ln、Nn)で表す。ここで、nは変曲点の数を示す。
また、上記基準ノイズモデルから他のノイズモデルを導出するための補正係数kgtも用意される。補正係数kgtは、各ノイズモデルと基準ノイズモデル間から最小自乗法により算出される。基準ノイズモデルから他のノイズモデルを導出するには、上記補正係数kgtを乗算することで行われる。
図５(c)は、図５(b)に示す簡易化されたノイズモデルからノイズ量を算出する方法を示す。例えば、与えられた信号レベルl、ゲインがg、温度がtに対応するノイズ量Nを求めることを想定する。まず、信号レベルlが基準ノイズモデルのどの区間に属するかを探索する。ここでは、(Ln、Nn)と(Ln+1、Nn+1)間の区間に属するとする。基準ノイズモデルにおける基準ノイズ量Nlを線形補間にて求める。
次に補正係数kgtを乗算することでノイズ量Nを求める。
パラメータ選択部305は、平均値算出部301からの局所領域の平均値C_AVから信号レベルlを、ゲイン算出部302からのゲインの情報からゲインgを、制御部117からの温度情報から温度tを設定する。
次に、信号レベルlが属する区間の座標データ(Ln、Nn)と(Ln+1、Nn+1)をパラメータ用ROM304から探索し、これを補間部306へ転送する。さらに、補正係数kgtをパラメータ用ROM304から探索し、これを補正部307へ転送する。
補間部306は、制御部117の制御に基づき、パラメータ選択部305からの信号レベルl及び区間の座標データ(Ln、Nn)と(Ln+1、Nn+1)から(5)式に基づき基準ノイズモデルにおける基準ノイズ量Nlを算出し、補正部307へ転送する。
補正部307は、制御部117の制御に基づき、パラメータ選択部305からの補正係数kgt及び補間部306からの基準ノイズ量Nlから(6)式に基づきノイズ量Nを算出する。上記ノイズ量Nは、注目画素値CT 22の第１のノイズ量C_N1T 22として第２ノイズ推定部113へ転送される。
なお、上記ノイズ量算出の過程において、温度t、ゲインgなどの情報を撮影ごとに求める必要はない。任意の情報を標準値付与部303に記録させておき、算出過程を省略する構成も可能である。これにより、高速処理や省電力化などが実現できる。また、ここではノイズモデルを用いて第１のノイズ量C_N1T 22を得ているが、後述する第２の実施形態のようにルックアップテーブルを用いて第１のノイズ量C_N1T 22を得るようにしても構わない。
図６は第２ノイズ推定部113の構成の一例を示す。第２ノイズ推定部113は、記録部400、差分部401、比較部402、上限値設定部403からなる。
ノイズ低減部114は記録部400へ、色信号分離部111及び記録部400は差分部401へ接続している。差分部401は、比較部402及び上限値設定部403へ接続している。第１ノイズ推定部112は比較部402へ、比較部402は上限値設定部403へ接続している。上限値設定部403はノイズ低減部114へ接続している。制御部117は、記録部400、差分部401、比較部402、上限値設定部403と双方向に接続されている。
ノイズ低減部114からのノイズ低減処理がなされた信号は、画素単位で順次記録部400へ転送され、記録される。本実施形態においては、記録部400は１フレーム信号を記録可能とし、次のノイズ低減処理がなされたフレーム信号が転送されてきた場合は上書きされる。本実施形態では、１フレーム時間単位で映像信号が出力されるため、記録部400には１フレーム時間前のノイズ低減処理がなされた映像信号が記録されている。
差分部401は、制御部117の制御に基づき、色信号分離部111から注目画素値CT 22を、記録部400から注目画素値CT 22に対応するノイズ低減処理がなされた過去の注目画素値C'T-1 22を読み込み、両者間で差分処理を行うことで差分信号C_ΔT 22を得る。
(7)式に示される差分信号C_ΔT 22は、比較部402及び上限値設定部403へ転送される。比較部402は、制御部117の制御に基づき、差分部401から差分信号C_ΔT 22を読み込むとともに、第１ノイズ推定部112から注目画素値CT 22に対応する第１のノイズ量C_N1T 22を読み込み、両者の比較を行う。この比較は、差分信号C_ΔT 22の絶対値が第１のノイズ量C_N1T 22に含まれるか否かを判断するもので、C_ΔT 22≧C_N1T 22または-C_N1T 22≧C_ΔT 22の場合はノイズ範囲外、C_N1T 22＞C_ΔT 22＞-C_N1T 22の場合はノイズ範囲内とする。上記判断結果は、上限値設定部403へ転送される。
上限値設定部403は、制御部117の制御に基づき、差分部401からの差分信号C_ΔT 22に対して比較部402からの比較結果に基づき補正を行うことで第２のノイズ量C_N2T 22を求める。
(8)式は、差分信号がノイズ量を上回る（差分信号が負の場合は下回る）場合にノイズ量を上限とする制約を設けることを意味する。上記第２のノイズ量C_N2T 22は、ノイズ低減部114へ転送される。
図７(a)、(b)、図８は上記第２のノイズ量の推定に関する説明図である。図７(a)、(b)は時系列的に撮影される映像信号及びX軸方向のプロファイルを示す。被写体としては、黒を背景として白の矩形がX軸方向に移動する場合を想定する。図７(b)は現在の時刻Tの映像信号CTを、図７(a)は１フレーム時間前の時刻T-1の映像信号CT-1を示す。なお、図７(a)の映像信号はノイズ低減処理が完了しており、ノイズ低減処理後の映像信号C'T-1が存在する。
図８は、映像信号が図７(a)、(b)に示す信号である場合の色信号分離部111、第１ノイズ推定部112、第２ノイズ推定部113内の差分部401及び上限値設定部403、ノイズ低減部114における処理を図示したものである。
色信号分離部111からは、図７(b)に示される時刻Tの映像信号が転送される。ノイズ低減部114からは、図７(a)に示される時刻T-1のノイズ低減処理後の映像信号C'T-1が転送される。
差分部401は、(7)式に示される差分信号C_ΔTを算出する。この場合、差分信号C_ΔTにはランダムノイズと動き成分の二成分が混在することになる。本例においては、白の矩形がX軸方向に移動しているため、矩形の境界部で大きな動き成分が検出されることになる。
第１ノイズ推定部112からは第１のノイズ量C_N1Tが転送される。第１のノイズ量C_N1Tは、時刻Tの映像信号CT及びノイズモデルに基づき推定されるため動き成分が含まれない。上限値設定部403は、(8)式に示されるように第１のノイズ量C_N1Tを逸脱する場合に第１のノイズ量C_N1Tを上限値とする補正を行う。これにより、差分信号C_ΔTから動き成分が除去され、第２のノイズ量C_N2Tが求められる。
ノイズ低減部114では、(1)式に示される減算処理がなされ、ノイズ低減処理がなされた時刻Tの映像信号C'Tが生成される。
続いて、上記ノイズ低減処理による効果について説明する。
現在の映像信号から推定される第１のノイズ量は動き成分を含まないので、これを用いて動き成分とランダムノイズを分離することで、両成分を高い精度で分離することができ、高品位な映像信号が得られる。また、分離に使用する第１のノイズ量の推定及び減算処理で行われるノイズ低減処理は計算量が少なく、システム全体の高速化及び低コスト化を可能とする。
また、第１のノイズ量の推定は、撮影ごとに異なる条件に動的に適応するため、高精度かつ安定的な推定が可能となる。さらに、第１のノイズ量に基づく補正処理により第２のノイズ量を求める手法は、同質な信号間での処理となり、制御の簡略化が可能となり操作性が向上する。
また、ノイズ低減処理後の映像信号をフレーム単位時間遅延して現在の映像信号との差分を得るようにしたので、従来使用されている撮像素子及び信号処理系との親和性、互換性が高く、多様な撮像システムに適応することが可能となる。
また、各色信号を独立に処理するため、動き成分とランダムノイズの分離を高精度化することができ、高品位な映像信号が得られる。
また、ベイヤー型原色フィルタは現状の撮像系との親和性が高く、多様なシステムとの組み合わせが可能となる。なお、上記実施形態では撮像素子としてベイヤー型原色フィルタを用いる構成となっていたが、このような構成に限定される必要はない。例えば、色差線順次型補色フィルタを用いることも可能であるし、二板、三板撮像素子の利用も可能である。
図９(a)は色差線順次型補色フィルタの構成を示す。色差線順次方式は2×2画素を基本単位とし、シアン(Cy)、マゼンタ(Mg)、イエロー(Ye)、緑(G)が１画素ずつ配置される。ただし、MgとGの位置はラインごとに反転している。色差線順次型補色フィルタの場合、色信号分離部111は、図９(a)に示される10×10画素単位で映像信号を読み込み、これを図９(b)に示されるようにMg、G、Ye、Cyの色フィルタごとに、注目画素を中心とする5×5画素を局所領域として分離する。時刻Tにおける局所領域内の画素値はCT ij（Cは色信号でC=Mg、G、Ye、Cy）で示されることになる。
また、第２ノイズ推定部113において差分信号が第１のノイズ量を逸脱する場合に、第１のノイズ量を上限とする補正処理を行う構成となっていたが、このような構成に限定される必要はない。
例えば、第１のノイズ量を逸脱する場合に零に置換するなどのより簡易的な構成も可能である。図１０は、第２ノイズ推定部113の別構成の一例を示すもので、図６に示す上限値設定部403を置換部404に置換した構成になっている。基本構成は図６に示す第２ノイズ推定部113と同等であり、同一の構成には同一の名称と番号を割り当てている。
以下、異なる部分のみ説明する。差分部401及び比較部402は、置換部404へ接続している。置換部404はノイズ低減部114へ接続している。制御部117は置換部404と双方向に接続されている。図６に示す差分部401及び比較部402と同様に、差分部401は差分信号C_ΔT 22を算出し、比較部402は差分信号C_ΔT 22と第１のノイズ量C_N1T 22間の比較を行う。置換部404は、制御部117の制御に基づき、差分部401からの差分信号C_ΔT 22に対して比較部402からの比較結果に基づき補正を行うことで第２のノイズ量C_N2T 22を求める。
後段のノイズ低減部114は、注目画素値CT 22とノイズ量抽出部201からの第２のノイズ量C_N2T 22間にて減算処理を行うため、(9)式に示される置換処理は動領域において何も処理を行わないことを意味する。一般に動領域では視覚的に高周波域の識別能が低下するため、ランダムノイズが目立ちにくく、置換処理においても対応することができる。置換処理は、図６に示す上限値設定処理よりも実装が容易であり、システムの低コスト化が可能となる。
さらに、上記実施形態ではレンズ系100、絞り101、CCD102、温度センサー103、 増幅器104、A/Dコンバータ105、プリホワイトバランス調整部107、測光評価部108、合焦点検出部109、AFモータ110からなる撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。例えば、図１１に示されるように、別体の撮像部で撮像された映像信号を未処理のRawデータ形態で、さらにCCD102の色フィルタや撮影時の露光条件などの付随情報をヘッダ部に記録した記録媒体から処理をすることも可能である。
図１１は、図１に示す構成からレンズ系100、絞り101、CCD102、温度センサー103、増幅器104、A/Dコンバータ105、プリホワイトバランス調整部107、測光評価部108、合焦点検出部109、AFモータ110を省略し、入力部500、ヘッダ情報解析部501を追加した形態となっている。基本構成は図１と同等であり、同一の構成には同一の名称と番号を割り当てている。
以下、異なる部分のみ説明する。入力部500は、バッファ106及びヘッダ情報解析部501へ接続している。制御部117は、入力部500、ヘッダ情報解析部501と双方向に接続している。マウス、キーボードなどの外部I/F部118を介して再生操作を開始することで、記録媒体に保存された映像信号及びヘッダ情報が入力部500から読み込まれる。なお、映像信号は所定の時間間隔、本実施形態では１フレーム時間間隔で１枚ずつ順次読み込まれる。
入力部500からのフレーム信号はバッファ106へ、ヘッダ情報はヘッダ情報解析部501へ転送される。ヘッダ情報解析部501は、ヘッダ情報から撮影時の情報を抽出して制御部117へ転送する。以後の処理は、図１と同等である。
また、上記実施形態ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、CCD102からの映像信号を未処理のままのRawデータとして、制御部117からCCD102の色フィルタや撮影時の露光条件などの付随情報などをヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。
図１２Ａは上記信号処理をコンピュータに実行させる場合のソフトウェア処理に関するフローを示している。以下、各ステップの処理について説明する。
ステップS1では映像信号及び撮影時の露光条件などのヘッダ情報を読み込む。
ステップS2では映像信号から順次フレーム信号を抽出する。
ステップS3では図２(b)に示されるように所定サイズの局所領域を分離抽出する。
ステップS4では第１のノイズ量の推定を行う。この処理は図１２Ｂのフローに従って実行され、これについては後述する。
ステップS5では第２のノイズ量の推定を行う。この処理は図１２Ｃのフローに従って実行され、これについては後述する。
ステップS6ではノイズ低減処理を行う。この処理は図１２Ｄのフローに従って実行され、これについては後述する。
ステップS7ではノイズ低減処理がなされた信号を出力する。
ステップS8では全ての局所領域が完了したかを判断し、完了していない場合はステップS3へ分岐し、完了した場合はステップS9へ分岐する。
ステップS9では公知の補間処理、強調処理、階調処理、圧縮処理が行われる。
ステップS10では処理が完了したフレーム信号が出力される。
ステップS11では全てのフレーム信号が完了したかを判断し、完了していない場合はステップS2へ分岐し、完了した場合は終了する。
図１２Ｂは、図１２ＡのステップS4における第１ノイズ推定処理に関するフローである。以下、各ステップの処理について説明する。
ステップS20では読み込まれたヘッダ情報から温度、ゲインなどの情報を設定する。もし、ヘッダ情報に必要なパラメータが存在しない場合はこれに代えて所定の標準値を割り当てる。
ステップS21では(2)式に示されるように局所領域の平均値を算出する。
ステップS22では基準ノイズモデルの座標データ及び補正係数を読み込む。
ステップS23では注目画素値が属する基準ノイズモデルの区間の座標データ及び対応する補正係数を選択する。
ステップS24では(5)式に示される補間処理にて基準ノイズ量を求める。
ステップS25では(6)式に示される補正処理にて第１のノイズ量を求める。
ステップS26では第１のノイズ量を出力して終了する。
図１２Ｃは、図１２ＡのステップS5における第２ノイズ推定処理に関するフローである。以下、各ステップの処理について説明する。
ステップS30ではノイズ低減処理がなされた過去の、本実施形態では１フレーム過去のフレーム信号を入力する。
ステップS31では(7)式に示されるように差分信号を算出する。
ステップS32では第１のノイズ量を入力する。
ステップS33では差分信号が第１のノイズ量に含まれるか否かを比較判定する。
ステップS34では(8)式に示されるように差分信号に第１のノイズ量を上限とする制約を設けることで第２のノイズ量を求める。
ステップS35では第２のノイズ量を出力して終了する。
図１２Ｄは、図１２ＡのステップS6におけるノイズ低減処理に関するフローである。以下、各ステップの処理について説明する。
ステップS40では第２のノイズ量を入力する。
ステップS41では、(1)式に示されるようにフレーム信号と第２のノイズ量間にて減算処理を行い、ノイズ低減処理がなされた信号を求める。
ステップS42ではノイズ低減処理がなされた信号を出力して終了する。
このように信号処理をソフトウェアにより行う構成としてもよく、ハードウェアにより処理する場合と同じ作用効果が奏される。
続いて本発明の第２の実施形態について説明する。
まず、その構成について説明する。図１３は第２の実施形態の構成図である。本実施形態は、図１に示す第１の実施形態におけるCCD102がCCD600へ、色信号分離部111が輝度色差分離部601へ、第１ノイズ推定部112が第１ノイズ推定部602へ、第２ノイズ推定部113が第２ノイズ推定部603へ、ノイズ低減部114がノイズ低減部604へ置換された構成になっている。基本構成は第１の実施形態と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみを説明する。
レンズ系100、絞り101、CCD600を介して撮影された映像信号は、増幅器（図中"Gain"）104にて増幅され、A/Dコンバータ（図中"A/D"）105にてデジタル信号へ変換され、バッファ106へ転送される。
バッファ106は、プリホワイトバランス調整部（図中"PreWB部"）107、測光評価部108、合焦点検出部109、輝度色差分離部601へ接続されている。輝度色差分離部601は、第１ノイズ推定部602、第２ノイズ推定部603、ノイズ低減部604へ接続されている。第１ノイズ推定部602は第２ノイズ推定部603へ、第２ノイズ推定部603はノイズ低減部604へ接続されている。ノイズ低減部604は、第２ノイズ推定部603及び信号処理部115へ接続されている。制御部117は、輝度色差分離部601、第１ノイズ推定部602、第２ノイズ推定部603、ノイズ低減部604と双方向に接続されている。
続いてその信号処理の内容について説明する。基本的に第１の実施形態と同等であるので、異なる部分のみ説明する。
図１３を参照しながら映像信号の流れを説明する。外部I/F部118を介してシャッターボタンを押すことで撮像モードに入る。レンズ系100、絞り101、CCD600を介して撮影された映像信号はアナログ信号として所定時間間隔で連続的に出力される。なお、本実施形態においては、また、CCD600としては色差線順次型補色フィルタを前面に配置した単板CCDを想定する。
図１４(a)は色差線順次型補色フィルタの構成を示す。色差線順次方式は2×2画素を基本単位とし、シアン(Cy)、マゼンタ(Mg)、イエロー(Ye)、緑(G)が１画素ずつ配置される。ただし、MgとGの位置はラインごとに反転している。
CCD600からの映像信号は、図１４(a)に示されるように上下のラインが加算され、偶数ラインと奇数ラインに分離した２つのフィールド信号（偶数フィールド信号と奇数フィールド信号）から構成される。また、上記所定時間間隔として1/60秒（以後は１フィールド時間と表記する）を想定する。偶数及び奇数フィールド信号を合成することで１枚の映像信号が得られるが、１枚の映像信号をフレーム信号と表記する。上記フレーム信号は1/30秒間隔で合成されることになる。
CCD600からのアナログ信号は増幅器104にて所定量増幅され、A/Dコンバータ105にてデジタル信号へ変換されてバッファ106へ転送される。バッファ106は、２フィールド信号、すなわち１フレーム信号を記録可能で、撮影にともない順次上書きされることになる。輝度色差分離部601は制御部117の制御に基づき、偶数及び奇数フィールド信号から輝度信号Yと色差信号Cb、Crを算出する。
この後、ノイズ低減処理の対象となる注目画素及び注目画素の近傍に位置する近傍画素からなる局所領域を順次抽出する。本実施形態においては、局所領域として輝度信号Yは5×5画素を、色差信号Cb、Crは5×3画素を想定する。
図１４(b)、(c)は偶数及び奇数フィールド信号から抽出された局所領域を示す。図１４(b)は偶数フィールド信号から輝度信号Yと色差信号Crを抽出した例を示す。色差信号Crは１ライン間隔でしか生成されないため、有効な画素は5×3画素となる。また、この例では色差信号Cbは注目画素が得られないため使用しない。なお、注目画素位置が異なれば、上記とは逆に色差信号Cbが存在し、色差信号Crが存在しない例も発生する。
図１４(c)は奇数フィールド信号から輝度信号Yと色差信号Cbを抽出した例を示す。色差信号Cbは、１ライン間隔でしか生成されないため、有効な画素は5×3画素となる。また、この例では色差信号Crは注目画素が得られないため使用しない。なお、注目画素位置が異なれば、上記とは逆に色差信号Crが存在し、色差信号Cbが存在しない例も発生する。
以降は、時刻Tにおける局所領域内の画素値をCT ij（Cは信号でC=Y、CrまたはC=Y、Cb、iはX座標でi=0〜4、jはY座標で偶数フィールド信号の輝度信号Yの場合はｊ=0、2、4、6、8、偶数フィールド信号の色差信号CrまたはCbの場合はｊ=0、4、8、奇数フィールド信号の輝度信号Yの場合はj=1、3、5、7、9、奇数フィールド信号の色差信号CbまたはCrの場合はj=1、5、9）で表記する。注目画素値は偶数フィールド信号の場合CT 24、奇数フィールド信号の場合CT 25となる。なお、以後の説明は、図１４(b)に示されるような偶数フィールド信号かつC=Y、Crに関して行うが、偶数フィールド信号かつC=Y、Cbや奇数フィールド信号に関しても局所領域の構成が異なるだけで同様に成立する。
上記局所領域は第１ノイズ推定部602及びノイズ低減部604へ、上記注目画素は第２ノイズ推定部603へ転送される。第１ノイズ推定部602は、制御部117の制御に基づき、注目画素値CT 24に関する第１のノイズ量C_N1T 24を推定し、これを第２ノイズ推定部603へ転送する。
第２ノイズ推定部603は、制御部117の制御に基づき、輝度色差分離部601からの注目画素値CT 24と後述するノイズ低減部604からのノイズ低減処理がなされた複数の過去の信号間の差分信号を求め、これらを第１ノイズ推定部602からの第１のノイズ量C_N1T 24を用いて選択することで第２のノイズ量C_N2T 24を推定し、ノイズ低減部604へ転送する。本実施形態においては、過去の信号としては２フィールド前（１フレーム前）、１フィールド前、１ライン前の三種類を想定する。
ノイズ低減部604は、制御部117の制御に基づき、輝度色差分離部601からの注目画素値CT 24に関して第２ノイズ推定部603からの第２のノイズ量C_N2T 24を用いてコアリング処理を行うことでノイズ低減処理がなされた注目画素値C'T 24を算出し、これを第２ノイズ推定部603及び信号処理部115へ転送する。なお、ノイズ低減部604は、第１の実施形態のノイズ低減部114のように注目画素値CT 24と第２のノイズ量C_N2T 24の間で減算処理を行うことによってノイズ低減処理がなされた注目画素値C'T 24を算出するようにしてもよい。
上記輝度色差分離部601、第１ノイズ推定部602、第２ノイズ推定部603、ノイズ低減部604における処理は、制御部117の制御に基づき局所領域単位で同期して行われる。
信号処理部115は、制御部117の制御に基づき、ノイズ低減処理がなされた偶数フィールド信号及び奇数フィールド信号に対して公知の同時化処理を行うことでフレーム信号を合成し、上記フレーム信号に対して公知の強調処理、階調処理、圧縮処理などを行い、出力部116へ転送する。出力部116は、磁気ディスクやメモリカードなどの記録媒体に映像信号を記録保存する。
図１５はノイズ低減部604の構成の一例を示すもので、ノイズ低減部604は、局所領域抽出部700、平均算出部701、ノイズ量抽出部702、コアリング部703からなる。
輝度色差分離部601は局所領域抽出部700へ、局所領域抽出部700は平均算出部701及びコアリング部703へ接続している。第２ノイズ推定部603はノイズ量抽出部702へ、ノイズ量抽出部702はコアリング部703へ接続している。コアリング部703は、第２ノイズ推定部603及び信号処理部115へ接続している。制御部117は、局所領域抽出部700、平均算出部701、ノイズ量抽出部702、コアリング部703と双方向に接続されている。
以後の説明は、偶数フィールド信号に関して行うが、奇数フィールド信号に関しても局所領域の構成が異なるだけで同様に成立する。
局所領域抽出部700は、制御部117の制御に基づき、輝度色差分離部601から局所領域を読み込み、局所領域を平均算出部701へ、局所領域内の注目画素をコアリング部703へ転送する。平均算出部701は、制御部117の制御に基づき、局所領域の平均値C_AV（C=Y、Cr）を算出する。
(11)式において、i=0〜4、輝度信号Yの場合はｊ=0、2、4、6、8、色差信号Crの場合はｊ=0、4、8となる。算出された平均値C_AVはコアリング部703へ転送される。
ノイズ量抽出部702は、制御部117の制御に基づき、第２ノイズ推定部603から第２のノイズ量C_N2T 24を読み込み、コアリング部703へ転送する。
コアリング部703は、制御部117の制御に基づき、局所領域抽出部700からの注目画素値CT 24に対して平均算出部701からの平均値C_AV及びノイズ量抽出部702からの第２のノイズ量C_N2T 24を用いてコアリング処理を行い、ノイズ低減処理がなされた注目画素値C'T 24を求める。
ノイズ低減処理がなされた注目画素値C'T 24は、第２ノイズ推定部603及び信号処理部115へ転送される。
なお、上記構成ではコアリング処理に局所領域の平均値を用いる構成となっていたが、このような構成に限定される必要はない。例えば、第２のノイズ量C_N2T 24に対応した適用的なローパスフィルタ処理を行う構成も可能である。
図１６は、ノイズ低減部604の別構成の一例を示すもので、図１５に示す平均算出部701を削除し、係数用ROM704、ローパスフィルタ部705を追加した構成になっている。基本構成は図１５に示すノイズ低減部604と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
局所領域抽出部700、ノイズ量抽出部702、係数用ROM704は、ローパスフィルタ部705へ接続している。ローパスフィルタ部705はコアリング部703へ接続している。制御部117はローパスフィルタ部705と双方向に接続されている。ローパスフィルタ部705は、制御部117の制御に基づき、ノイズ量抽出部702からの第２のノイズ量C_N2T 24を用いて係数用ROM704からローパスフィルタ処理に用いるフィルタ係数を選択して、読み込む。
図１７は、係数用ROM704に記録されているフィルタ係数の一例を示す、各フィルタはサイズが5×5画素で、Type1〜Type4までの４種類の周波数特性が記録されている。なお、図１７中の各係数の値は128倍されている。Type1は高周波成分を残存し、Type4へと順次高周波成分を抑制する周波数特性となっている。ローパスフィルタ部705は、第２のノイズ量C_N2T 24からType1〜Type4の周波数特性を選択する。
この選択は、例えば図１８に示されるノイズ量Nとフィルタの種類Type間の関係に基づき行われる。ノイズ量Nが大きいほど高周波成分を抑制する周波数特性のフィルタが選択されることになる。ローパスフィルタ部705は、選択されたフィルタ係数に基づき、局所領域抽出部700からの局所領域に対してローパスフィルタ処理を行う。
なお、輝度信号Yの場合は5×5画素の局所領域でローパスフィルタのサイズと一致するが、色差信号Crの場合は5×3画素の局所領域でローパスフィルタのサイズと一致しない。この場合は、存在しない画素に関してはローパスフィルタ処理の対象化から除外し、実際に使用された画素のフィルタ係数に基づき正規化することで対応する。
ローパスフィルタ処理による結果はコアリング部703へ転送される。コアリング部703は、(12)式における平均値C_AVをローパスフィルタ処理の結果と置き換えて、コアリング処理を行う。
さらに、局所領域の平均値の代わりにバイラテラル（Bilateral）フィルタ処理を行う構成も可能である。図１９は、ノイズ低減部604のバイラテラルフィルタ処理を行う構成の一例を示すもので、図１５に示す平均算出部701を削除し、差成分算出部706、差成分用ROM707、重み係数合成部708、座標用ROM709、フィルタリング部710を追加した構成になっている。基本構成は図１５に示すノイズ低減部604と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
局所領域抽出部700は、差成分算出部706、フィルタリング部710、コアリング部703へ接続している。差成分算出部706は、重み係数合成部708、フィルタリング部710を介してコアリング部703へ接続している。差成分用ROM707は差成分算出部706へ、座標用ROM709は重み係数合成部708へ接続している。制御部117は、差成分算出部706、重み係数合成部708、フィルタリング部710と双方向に接続されている。
差成分算出部706は、制御部117の制御に基づき、局所領域抽出部700から局所領域を読み出し、(13)式に示されるように注目画素値CT 24との差成分の絶対値δT ijを算出する。
その後、差成分算出部706は差成分用ROM707から差成分の絶対値δT ijに対応する第１の重み係数w1ijを読み出す。第１の重み係数w1ijは、例えば(14)式に示される関数式で定められる。
(14)式におけるσ1は調整用のパラメータで、σ1=1〜10程度を用いる。差成分用ROM707は、(14)式に示される関数式に基づき予め算出しておいた第１の重み係数w1ijを記録したテーブルである。
求められた第１の重み係数w1ijは重み係数合成部708へ転送される。重み係数合成部708は、制御部117の制御に基づき、差成分算出部706からの第１の重み係数w1ij及び座標用ROM709から座標値(i、j)に対応する第２の重み係数w2ijを読み込み、これらを合成する。第２の重み係数w2ijは、例えば(15)式に示される関数式で定められる。
(15)式におけるσ2は調整用のパラメータで、σ2=1〜10程度を用いる。また、Ti及びTjは注目画素の座標を意味し、本実施形態においてはTi=2、Tj=4となる。座標用ROM709は、(15)式に示される関数式に基づき予め算出しておいた第２の重み係数w2ijを記録したテーブルである。第１の重み係数w1ij及び第２の重み係数w2ijは(16)式に基づき合成され、重み係数wijが算出される。
算出された重み係数wijはフィルタリング部710へ転送される。フィルタリング部710は、制御部117の制御に基づき、局所領域抽出部700からの局所領域に対して重み係数合成部708からの重み係数wijを用いてフィルタリング処理を行う。なお、上記フィルタリング処理は重み係数wijの総和で正規化される過程も含まれる。フィルタリング処理された結果はコアリング部703へ転送される。
コアリング部703は、(12)式における平均値C_AVをフィルタリング処理の結果と置き換えて、コアリング処理を行う。
図２０は第１ノイズ推定部602の構成の一例を示すもので、第１の実施形態の図４に示される第１ノイズ推定部112にノイズテーブル部800が追加され、パラメータ用ROM304、パラメータ選択部305、補間部306、補正部307が省略された形態になっている。基本構成は図４に示す第１ノイズ推定部112と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
輝度色差分離部601は局所領域抽出部300へ接続している。平均値算出部301、ゲイン算出部302、標準値付与部303は、ノイズテーブル部800へ接続している。ノイズテーブル部800は、第２ノイズ推定部603へ接続している。制御部117は、ノイズテーブル部800と双方向に接続されている。なお、以後の説明は、説明を簡単にするため、偶数フィールド信号に関して行うが、奇数フィールド信号に関しても局所領域の構成が異なるだけで同様に成立する。
局所領域抽出部300は、制御部117の制御に基づき、図１４(b)に示される5×5画素または5×3画素の局所領域を順次抽出し、平均値算出部301へ転送する。
平均値算出部301は、制御部117の制御に基づき、(11)式に示されるように局所領域抽出部300からの局所領域に関する平均値C_AVを求める。平均値C_AVはノイズテーブル部800へ転送される。
ゲイン算出部302は、制御部117から転送されるISO感度及び露光条件に関する情報に基づき増幅器104における増幅量を求め、ノイズテーブル部800へ転送する。また、制御部119は温度センサー103からCCD600の温度情報を得て、これをノイズテーブル部800へ転送する。
ノイズテーブル部800は、平均値算出部301からの局所領域に関する平均値、ゲイン算出部302からのゲインの情報、制御部117からの温度情報に基づきノイズ量を出力する。ノイズテーブル部800は、温度、信号値レベル、ゲインとノイズ量間の関係を記録したルックアップテーブルである。ノイズテーブル部800で得られたノイズ量Nは注目画素値CT 24の第１のノイズ量C_N1T 24として第２ノイズ推定部113へ転送される。
なお、上記ノイズ量算出の過程において、温度t、ゲインgなどの情報を撮影ごとに求める必要はない。任意の情報を標準値付与部303に記録させておき、算出過程を省略する構成も可能である。これにより、高速処理や省電力化などが実現できる。また、ここではルックアップテーブルを用いて第１のノイズ量C_N1T 24を得ているが、第１の実施形態と同様にノイズモデルを用いて第１のノイズ量C_N1T 24を得るようにしても構わない。
図２１は第２ノイズ推定部603の構成の一例を示すもので、第１の実施形態の図６に示される第２ノイズ推定部113にライン記録部900、フィールド記録部901、フレーム記録部902、バッファ903、選択部904が追加され、記録部400、上限値設定部403が省略された形態になっている。基本構成は図６に示す第２ノイズ推定部113と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
ノイズ低減部604はライン記録部900、フィールド記録部901、フレーム記録部902へ、ライン記録部900、フィールド記録部901、フレーム記録部902、輝度色差分離部601は差分部401へ接続している。差分部401はバッファ903へ、バッファ903は比較部402及び選択部904へ接続している。第１ノイズ推定部602は比較部402へ、比較部402は選択部904へ接続している。選択部904は、ノイズ低減部604へ接続している。以後の説明は偶数フィールド信号に関して行うが、奇数フィールド信号に関しても局所領域の構成が異なるだけで同様に成立する。
ノイズ低減部604からのノイズ低減処理がなされた信号は、画素単位でライン記録部900、フィールド記録部901、フレーム記録部902へ転送され、記録される。ライン記録部900は１ライン前の信号を、フィールド記録部901は１フィールド前の信号を、フレーム記録部902を１フレーム前の信号を記録する。
差分部401は、制御部117の制御に基づき、輝度色差分離部601から注目画素値YT 24またはCrT 24を、ライン記録部900から１ライン前の信号Y'T 22またはCr'T 20を、フィールド記録部901から１フィールド前の信号Y'T-1 23、Y'T-1 25またはCr'T-1 23、Cr'T-1 27を、フレーム記録部902から１フレーム前の信号Y'T-2 24またはCr'T-2 24を読み込み、両者間で差分処理を行うことでライン差分信号C_Δ1T 24、フィールド差分信号C_Δ2T 24、フレーム差分信号C_Δ3T 24を得る。輝度信号に関しては、
色差信号に関しては、
となる。図２２Ａ、図２２Ｂは、上記注目画素と１ライン前の信号、１フィールド前の信号、１フレーム前の信号の位置関係を示す。
図２２Ａ(a)は、時刻Tにおける輝度信号に関する5×5画素の局所領域と注目画素YT 24を示す。図２２Ａ(b)は、時刻Tの１ライン前、時刻T-1の１フィールド前、時刻T-2の１フレーム前のノイズ低減処理がなされた輝度信号を示す。１フレーム前の輝度信号からは注目画素YT 24と同一座標上の画素が選択されるが、１ライン前及び１フィールド前の輝度信号には同一座標上の画素が存在しないため、近傍画素が選択される。
図２２Ｂ(a)は、時刻Tにおける色差信号に関する5×3画素の局所領域と注目画素CrT 24を示す。図２２Ｂ(b)は、時刻Tの１ライン前、時刻T-1の１フィールド前、時刻T-2の１フレーム前のノイズ低減処理がなされた色差信号を示す。１フレーム前の色差信号からは注目画素CrT 24と同一座標上の画素が選択されるが、１ライン前及び１フィールド前の色差信号には同一座標上の画素が存在しないため、近傍画素が選択される。
上記の画素配置に起因し、注目画素との相関性に関しては静止領域においては１フレーム前≧１フィールド前≧１ライン前の関係があり、ノイズ低減処理に関する精度もこの順序となる。一方、動領域の精度は１ライン≧１フィールド前≧１フレーム前の関係がある。(17)または(18)式に示される差分信号Δ1T 24、Δ2T 24、Δ3T 24は、バッファ903へ転送され記録される。
比較部402は、制御部117の制御に基づき、バッファ903から差分信号Δ1T 24、Δ2T 24、Δ3T 24を、第１ノイズ推定部602から注目画素値CT 24に対応する第１のノイズ量C_N1T 24を読み込み、両者の比較を行う。比較は１フレーム前のΔ3T 24、１フィールド前のΔ2T 24、１ライン前のΔ1T 24の順で行われ、第１のノイズ量C_N1T 24以下となった場合に直ちに選択部904へ結果が転送される。これは、静止領域においては１フレーム前、１フィールド前、１ライン前の順でノイズ低減処理に関する精度が高いためで、この順で優先的に選択されるようにするためである。
なお、１ライン前のΔ1T 24でも第１のノイズ量C_N1T 24以下とならない場合は、自動的に１ライン前の信号が結果として選択され、選択部904へ転送される。
選択部904は、制御部117の制御に基づき、比較部402の結果に従いバッファ903から差分信号の一つを選択し、これをノイズ低減部604へ転送する。
なお、フレーム間隔が十分に短い場合は、１フレーム前、１フィールド前の信号に代えて数フレーム前、数フィールド前の信号を用いても構わない。
続いて、上記ノイズ低減処理による効果について説明する。
現在の映像信号から推定される第１のノイズ量は動き成分を含まないので、これを用いて動き成分とランダムノイズを分離することで、両成分を高い精度で分離することができ、高品位な映像信号が得られる。また、分離に使用する第１のノイズ量の推定はルックアップテーブルを用いるため計算量が少なく、システム全体の高速化が可能となる。
また、上記第１のノイズ量の推定は、撮影ごとに異なる条件に動的に適応するため、高精度かつ安定的な推定が可能となる。第１のノイズ量に基づき最適な第２のノイズ量を選択する手法は容易であり、制御の簡略化が可能となり操作性が向上する。
また、注目画素を含有する局所領域の低周波成分と第２のノイズ量に基づきコアリング処理を用いることでノイズ低減処理を行うため、ランダムノイズのみを重点的に低減でき、かつエッジなどのノイズ以外の画素との連続性が確保でき、高品位な映像信号が得られる。
上記低周波成分として平均値を用いる場合は、システム全体の高速化及び低コスト化が可能となる。また、ローパスフィルタの処理結果を用いる場合は、ノイズ量に影響されずに安定した低周波成分の抽出が可能となり、高精度なノイズ低減処理が可能となる。バイラテラルフィルタの処理結果を用いる場合は、ノイズ量やエッジ成分の有無に影響されずに安定した低周波成分の抽出が可能となり、高精度なノイズ低減処理が可能となる。
ノイズ低減処理後の映像信号をライン単位時間またはフィールド単位時間またはフレーム単位時間遅延するため、従来使用されている撮像素子及び信号処理系との親和性、互換性が高く、多様な撮像システムに適応することが可能となる。
また、輝度信号及び色差信号を独立に処理するため、動き成分とランダムノイズの分離を高精度化することができ、高品位な映像信号が得られる。また、色差線順次型補色フィルタは現状の撮像系との親和性が高く、多様なシステムとの組み合わせが可能となる。
なお、上記実施形態では撮像素子として色差線順次型補色フィルタを用いる構成となっていたが、このような構成に限定される必要はない。例えば、第１の実施形態と同様にベイヤー型原色フィルタを用いる構成も可能である。この場合、欠落するRGB信号を公知の補間処理により補い、(19)式に基づき輝度信号と色差信号を求める。
また、この場合はフレーム信号のみでフィールド信号が存在しないことになる。第２ノイズ推定部603は、１ライン前の信号または１フレーム前の信号から差分信号を求め、両者から選択を行う構成になる。
さらに、上記実施形態ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、CCD600からの映像信号を未処理のままのRawデータとして、制御部117からCCD600の色フィルタや撮影時の露光条件などの付随情報などをヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。
図２３Ａは上記信号処理をコンピュータに実行させる場合のソフトウェア処理に関するフローを示している。なお、図１２Ａに示す第１の実施形態における信号処理のフローと同一のステップに関しては、同一のステップ数を割り当てている。以下、各ステップの処理について説明する。
ステップS1では映像信号及び撮影時の露光条件などのヘッダ情報を読み込む。
ステップS50では映像信号から偶数フィールド信号及び奇数フィールド信号を順次抽出する。
ステップS51では(10)式に示されるように輝度信号と色差信号を分離する。分離後の輝度信号及び色差信号から図１４(b)、(c)に示されるように、輝度信号は5×5画素、色差信号は5×3画素の局所領域が抽出される。
ステップS52では第１のノイズ量の推定を行う。この処理は図２３Ｂのフローに従って実行され、これについては後述する。
ステップS53では第２のノイズ量の推定を行う。この処理は図２３Ｃのフローに従って実行され、これについては後述する。
ステップS54ではノイズ低減処理を行う。この処理は図２３Ｄのフローに従って実行され、これについては後述する。
ステップS7ではノイズ低減処理がなされた信号を出力する。
ステップS55では全ての輝度信号と色差信号の局所領域が完了したかを判断し、完了していない場合はステップS51へ分岐し、完了した場合はステップS9へ分岐する。
ステップS9では偶数フィールド信号及び奇数フィールド信号から公知の同時化処理にてフレーム信号を合成し、フレーム信号に対して公知の強調処理、階調処理、圧縮処理が行われる。
ステップS10では処理が完了したフレーム信号が出力される。
ステップS5では全てのフィールド信号が完了したかを判断し、完了していない場合はステップS2へ分岐し、完了した場合は終了する。
図２３Ｂは、図２３ＡのステップS52における第１ノイズ推定処理に関するフローである。なお、図１２Ｂに示す第１の実施形態における第１ノイズ推定処理のフローと同一のステップに関しては、同一のステップ数を割り当てている。以下、各ステップの処理について説明する。
ステップS20では読み込まれたヘッダ情報から温度、ゲインなどの情報を設定する。もし、ヘッダ情報に必要なパラメータが存在しない場合は所定の標準値を割り当てる。
ステップS21では(11)式に示されるように局所領域の平均値を算出する。
ステップS60では、輝度信号または色差信号の信号値レベル、ゲイン、撮像素子の動作温度とノイズ量間の関係を記録したノイズ量に関するテーブルを読み込み、第１のノイズ量を求める。
ステップS26では第１のノイズ量を出力して終了する。
図２３Ｃは、図２３ＡのステップS53における第２ノイズ推定処理に関するフローである。なお、図１２Ｃに示す第１の実施形態における第２ノイズ推定処理のフローと同一のステップに関しては、同一のステップ数を割り当てている。以下、各ステップの処理について説明する。
ステップS70ではノイズ低減処理がなされた過去の１ライン前、１フィールド前、１フレーム前の信号を入力する。
ステップS71では(17)、(18)式に示されるように差分信号を算出する。
ステップS32では第１のノイズ量を入力する。
ステップS72では１フレーム前、１フィールド前、１ライン前の順で差分信号と第１のノイズ量間での比較を行う。上記比較は差分信号が第１のノイズ量以下となって時点で確定し、１ライン前の差分信号が第１のノイズ量以下にならない場合は１ライン前の差分信号を比較結果とする。
ステップS73では、比較結果に基づき差分信号を選択し、これを第２のノイズ量とする。
ステップS35では第２のノイズ量を出力して終了する。
図２３Ｄは、図２３ＡのステップS54におけるノイズ低減処理に関するフローである。なお、図１２Ｄに示す第１の実施形態におけるノイズ低減処理のフローと同一のステップに関しては、同一のステップ数を割り当てている。以下、各ステップの処理について説明する。
ステップS40では第２のノイズ量を入力する。
ステップS80では(11)式に示されるように局所領域の平均値を算出する。
ステップS80では、(12)式に示されるようにコアリング処理を行い、ノイズ低減処理がなされた信号を求める。
ステップS42ではノイズ低減処理がなされた信号を出力して終了する。
このように信号処理をソフトウェアにより行う構成としてもよく、ハードウェアにより処理する場合と同じ作用効果が奏される。
以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。
第１の実施形態の構成図である。 ベイヤー型原色フィルタの配置と局所領域に関する説明図である。 ノイズ低減部の構成図である。 第１ノイズ推定部の構成図である。 第１のノイズ量の推定に関する説明図である。 第２ノイズ推定部の構成図である。 第２のノイズ量の推定に関する説明図であり、時系列的に撮影される映像信号及びX軸方向のプロファイルを示す。 第２のノイズ量の推定に関する説明図であり、各処理部における信号形態を示す。 色差線順次型補色フィルタの配置と局所領域に関する説明図である。 別形態の第２ノイズ推定部の構成図である。 別形態の第１の実施形態の構成図である。 信号処理のフローのうち、全体処理のフローである。 信号処理のフローのうち、第１ノイズ推定処理のフローである。 信号処理のフローのうち、第２ノイズ推定処理のフローである。 信号処理のフローのうち、ノイズ低減処理のフローである。 第２の実施形態の構成図である。 色差線順次型補色フィルタの局所領域に関する説明図である。 ノイズ低減部の構成図である。 別形態のノイズ低減部の構成図である。 平滑化用フィルタに関する説明図である。 平滑化用フィルタの選択に関する説明図である。 別形態のノイズ低減部の構成図である。 第１ノイズ推定部の構成図である。 第２ノイズ推定部の構成図である。 第２ノイズ推定部で用いる過去の映像信号に関する説明図である。 第２ノイズ推定部で用いる過去の映像信号に関する説明図である。 信号処理のフローのうち、全体処理のフローである。 信号処理のフローのうち、第１ノイズ推定処理のフローである。 信号処理のフローのうち、第２ノイズ推定処理のフローである。 信号処理のフローのうち、ノイズ低減処理のフローである。
符号の説明
112, 602 第１ノイズ推定部
113, 603 第２ノイズ推定部
114, 604 ノイズ低減部

Claims (6)

  1. 撮像系から時系列的に取り込まれた映像信号に対しノイズ低減処理を行う映像処理装置において、
    前記映像信号に対してノイズ低減処理を行うノイズ低減手段と、
    前記映像信号のうち現在の映像信号から第１のノイズ量を推定する第１のノイズ推定手段と、
    前記第１のノイズ量、前記現在の映像信号及び前記ノイズ低減処理後の過去の映像信号に基づき第２のノイズ量を推定する第２のノイズ推定手段と、
    を備え、
    前記ノイズ低減手段が、
    前記現在の映像信号からノイズ低減処理を行う注目画素及び前記注目画素近傍に位置する少なくとも１つ以上の近傍画素からなる局所領域を抽出する局所領域抽出手段と、
    前記局所領域から低周波成分を抽出する低周波抽出手段と、
    前記注目画素に対応する前記第２のノイズ量を抽出するノイズ量抽出手段と、
    前記注目画素に対応する前記第２のノイズ量及び前記低周波成分に基づき前記注目画素の値に対してコアリング処理を行うコアリング手段と、
    を備えたことを特徴とする映像処理装置。
  2. 請求項１に記載の映像処理装置において、
    前記低周波抽出手段が、前記局所領域から平均値を算出する平均値算出手段を備えたことを特徴とする映像処理装置。
  3. 請求項１に記載の映像処理装置において、
    前記低周波抽出手段が、前記局所領域に対してローパスフィルタを適用するローパスフィルタ手段を備えたことを特徴とする映像処理装置。
  4. 請求項１に記載の映像処理装置において、
    前記低周波抽出手段が、前記局所領域に対してバイラテラルフィルタを適用するバイラテラルフィルタ手段を備えたことを特徴とする映像処理装置。
  5. 撮像系から時系列的に取り込まれた映像信号に対しノイズ低減処理を行う映像処理方法において、
    前記映像信号に対してノイズ低減処理を行うノイズ低減手順と、
    前記映像信号のうち現在の映像信号から第１のノイズ量を推定する第１のノイズ推定手順と、
    前記第１のノイズ量、前記現在の映像信号及び前記ノイズ低減処理後の過去の映像信号に基づき第２のノイズ量を推定する第２のノイズ推定手順と、
    を含み、
    前記ノイズ低減手順が、
    前記現在の映像信号からノイズ低減処理を行う注目画素及び前記注目画素近傍に位置する少なくとも１つ以上の近傍画素からなる局所領域を抽出する局所領域抽出手順と、
    前記局所領域から低周波成分を抽出する低周波抽出手順と、
    前記注目画素に対応する前記第２のノイズ量を抽出するノイズ量抽出手順と、
    前記注目画素に対応する前記第２のノイズ量及び前記低周波成分に基づき前記注目画素の値に対してコアリング処理を行うコアリング手順と、
    を含むことを特徴とする映像処理方法。
  6. 撮像系から時系列的に取り込まれた映像信号に対しノイズ低減処理をコンピュータに実行させるための映像処理プログラムにおいて、
    前記映像信号に対してノイズ低減処理を行うノイズ低減手順と、
    前記映像信号のうち現在の映像信号から第１のノイズ量を推定する第１のノイズ推定手順と、
    前記第１のノイズ量、前記現在の映像信号及び前記ノイズ低減処理後の過去の映像信号に基づき第２のノイズ量を推定する第２のノイズ推定手順と、
    をコンピュータに実行させ、
    前記ノイズ低減手順では、
    前記現在の映像信号からノイズ低減処理を行う注目画素及び前記注目画素近傍に位置する少なくとも１つ以上の近傍画素からなる局所領域を抽出する局所領域抽出手順と、
    前記局所領域から低周波成分を抽出する低周波抽出手順と、
    前記注目画素に対応する前記第２のノイズ量を抽出するノイズ量抽出手順と、
    前記注目画素に対応する前記第２のノイズ量及び前記低周波成分に基づき前記注目画素の値に対してコアリング処理を行うコアリング手順と、
    をコンピュータに実行させることを特徴とする映像処理プログラム。
JP2007105925A 2007-04-13 2007-04-13 映像処理装置及び映像処理プログラム Expired - Fee Related JP5052189B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007105925A JP5052189B2 (ja) 2007-04-13 2007-04-13 映像処理装置及び映像処理プログラム
PCT/JP2008/056510 WO2008129926A1 (ja) 2007-04-13 2008-03-26 映像処理装置、映像処理プログラム及び映像処理方法
US12/576,677 US8154630B2 (en) 2007-04-13 2009-10-09 Image processing apparatus, image processing method, and computer readable storage medium which stores image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007105925A JP5052189B2 (ja) 2007-04-13 2007-04-13 映像処理装置及び映像処理プログラム

Publications (2)

Publication Number Publication Date
JP2008263507A JP2008263507A (ja) 2008-10-30
JP5052189B2 true JP5052189B2 (ja) 2012-10-17

Family

ID=39875454

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007105925A Expired - Fee Related JP5052189B2 (ja) 2007-04-13 2007-04-13 映像処理装置及び映像処理プログラム

Country Status (3)

Country Link
US (1) US8154630B2 (ja)
JP (1) JP5052189B2 (ja)
WO (1) WO2008129926A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010200179A (ja) * 2009-02-26 2010-09-09 Olympus Corp 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムが格納されたプログラム記憶媒体
JP5672776B2 (ja) * 2010-06-02 2015-02-18 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US9372719B2 (en) * 2010-11-05 2016-06-21 Nec Corporation Information processing device for correcting procedure
JP5917040B2 (ja) * 2011-08-09 2016-05-11 キヤノン株式会社 画像処理装置及び画像処理方法
JP5834728B2 (ja) * 2011-09-30 2015-12-24 大日本印刷株式会社 雑音除去装置
JP6598660B2 (ja) * 2015-12-01 2019-10-30 キヤノン株式会社 画像処理装置および画像処理方法
WO2017132600A1 (en) 2016-01-29 2017-08-03 Intuitive Surgical Operations, Inc. Light level adaptive filter and method
JP6538634B2 (ja) * 2016-09-30 2019-07-03 富士フイルム株式会社 プロセッサ装置及び内視鏡システム並びにプロセッサ装置の作動方法
CN109462728B (zh) * 2017-09-06 2020-01-14 浙江宇视科技有限公司 码率控制方法、装置、图像采集设备及可读存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63286074A (ja) * 1987-05-19 1988-11-22 Nec Home Electronics Ltd 巡回型雑音低減装置
JP2816071B2 (ja) * 1992-12-11 1998-10-27 シャープ株式会社 Ｃｃｄビデオカメラの雑音除去用信号処理回路
JP3424372B2 (ja) * 1994-09-19 2003-07-07 松下電器産業株式会社 雑音低減装置
DE69611113T3 (de) * 1995-03-06 2007-03-15 Matsushita Electric Industrial Co., Ltd., Kadoma Vorrichtung zur Videorauschreduktion
JPH1013734A (ja) 1996-06-18 1998-01-16 Canon Inc 撮像装置
JP2000209507A (ja) 1999-01-12 2000-07-28 Toshiba Corp 固体撮像装置の低ノイズ化回路
JP4292637B2 (ja) * 1999-08-20 2009-07-08 ソニー株式会社 信号処理装置及び方法
US7031548B2 (en) * 2001-10-04 2006-04-18 Hewlett-Packard Development Company, L.P. Method and apparatus for filtering noise from a digital image
JP3934506B2 (ja) * 2002-08-06 2007-06-20 オリンパス株式会社 撮像システムおよび画像処理プログラム
JP3762725B2 (ja) * 2002-08-22 2006-04-05 オリンパス株式会社 撮像システムおよび画像処理プログラム
JP2004328206A (ja) * 2003-04-23 2004-11-18 Matsushita Electric Ind Co Ltd ノイズリデューサ
JP4441321B2 (ja) * 2004-04-27 2010-03-31 オリンパス株式会社 画像処理装置、画像処理方法及びプログラム
JP2006023959A (ja) 2004-07-07 2006-01-26 Olympus Corp 信号処理システム及び信号処理プログラム
JP4547223B2 (ja) * 2004-09-28 2010-09-22 オリンパス株式会社 撮像システム、ノイズ低減処理装置及び撮像処理プログラム

Also Published As

Publication number Publication date
US20100026859A1 (en) 2010-02-04
WO2008129926A1 (ja) 2008-10-30
US8154630B2 (en) 2012-04-10
JP2008263507A (ja) 2008-10-30

Similar Documents

Publication Publication Date Title
JP5052189B2 (ja) 映像処理装置及び映像処理プログラム
JP4465002B2 (ja) ノイズ低減システム、ノイズ低減プログラム及び撮像システム。
JP4547223B2 (ja) 撮像システム、ノイズ低減処理装置及び撮像処理プログラム
JP3934597B2 (ja) 撮像システムおよび画像処理プログラム
JP3762725B2 (ja) 撮像システムおよび画像処理プログラム
US7738699B2 (en) Image processing apparatus
JP4653059B2 (ja) 撮像システム、画像処理プログラム
JP4979595B2 (ja) 撮像システム、画像処理方法、画像処理プログラム
JP5165300B2 (ja) 映像処理装置および映像処理プログラム
JP5123756B2 (ja) 撮像システム、画像処理方法および画像処理プログラム
JP4660342B2 (ja) 画像処理システム、画像処理プログラム
JP4583680B2 (ja) 固体撮像装置
WO2007049418A1 (ja) 画像処理システム、画像処理プログラム
WO2006004151A1 (ja) 信号処理システム及び信号処理プログラム
WO2005099356A2 (ja) 撮像装置
JP4441321B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP4916341B2 (ja) 画像処理装置及び画像処理プログラム
JP2009065691A (ja) 画像処理装置、記録媒体及び画像処理プログラム
JP2009022044A (ja) 画像処理装置及び画像処理プログラム
JP2009027615A (ja) 映像処理装置および映像処理プログラム
JP2009100207A (ja) ノイズ低減システム、ノイズ低減プログラム及び撮像システム
JP2008271101A (ja) 映像処理装置及び映像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100331

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120417

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120618

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120710

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120724

R151 Written notification of patent or utility model registration

Ref document number: 5052189

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150803

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees