JP3934506B2 - 撮像システムおよび画像処理プログラム - Google Patents

撮像システムおよび画像処理プログラム Download PDF

Info

Publication number
JP3934506B2
JP3934506B2 JP2002229059A JP2002229059A JP3934506B2 JP 3934506 B2 JP3934506 B2 JP 3934506B2 JP 2002229059 A JP2002229059 A JP 2002229059A JP 2002229059 A JP2002229059 A JP 2002229059A JP 3934506 B2 JP3934506 B2 JP 3934506B2
Authority
JP
Japan
Prior art keywords
noise
unit
amount
imaging system
means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2002229059A
Other languages
English (en)
Other versions
JP2004072422A (ja
Inventor
建夫 鶴岡
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2002229059A priority Critical patent/JP3934506B2/ja
Publication of JP2004072422A publication Critical patent/JP2004072422A/ja
Application granted granted Critical
Publication of JP3934506B2 publication Critical patent/JP3934506B2/ja
Application status is Active legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/335Transforming light or analogous information into electric information using solid-state image sensors [SSIS]
    • H04N5/357Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N5/365Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N5/3651Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection and correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/335Transforming light or analogous information into electric information using solid-state image sensors [SSIS]
    • H04N5/357Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N5/361Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current

Description

【0001】
【発明の属する技術分野】
本発明は、撮像システムおよび画像処理プログラム、より詳しくは、撮像素子系に起因するランダムノイズの低減を図る撮像システムおよび画像処理プログラムに関する。
【0002】
【従来の技術】
撮像素子とそれに付随するアナログ回路およびA/Dコンバータから得られるデジタル化された信号中には、一般にノイズ成分が含まれており、このノイズ成分は、固定パターンノイズとランダムノイズとに大別することができる。
【0003】
上記固定パターンノイズは、欠陥画素などに代表されるような、主に撮像素子に起因するノイズである。
【0004】
一方、ランダムノイズは、撮像素子およびアナログ回路において発生するものであり、ホワイトノイズ特性に近い特性を有している。
【0005】
後者のランダムノイズに関しては、例えば特開2001−157057号公報において、静的に与えられる定数項a,b,cと濃度値に変換した信号レベルDとを用いて、ノイズ量Nを、N=abcDにより関数化し、この関数から信号レベルDに対するノイズ量Nを推定して、推定したノイズ量Nに基づきフィルタリングの周波数特性を制御する技術が開示されていて、これにより、信号レベルに対して適応的なノイズ低減処理が行われるようになっている。
【0006】
また、他の例として、特開2002−57900号公報には、注目画素とその近傍画素との差分値Δを求めて、求めた差分値Δと静的に与えられる定数項a,bとを用いて、移動平均法で用いる平均画素数nを、n=a/(Δ+b)により制御するとともに、求めた差分値Δが所定の閾値以上である場合には移動平均を行わないようにする技術が記載されている。このような技術を用いることにより、エッジなどの原信号を劣化させることなくノイズ低減処理が行われるようにしている。
【0007】
【発明が解決しようとする課題】
しかしながら、ノイズ量は撮影時の温度,露光時間,ゲインなどの要因により動的に変化するために、上記特開2001−157057号公報に記載されたような静的な定数項を用いる技術では、撮影時のノイズ量に合わせた関数化に対応することができず、ノイズ量の推定精度が劣ってしまっていた。また、ノイズ量からフィルタリングの周波数特性を制御するが、このフィルタリングは平坦部分もエッジ部分も区別することなく同等に処理するために、信号レベルに基づきノイズ量が大であると推定された領域にあるエッジ部は劣化することになる。すなわち、原信号とノイズを区別した処理に対応することができず、原信号の保存性が良くないという課題がある。
【0008】
また、特開2002−57900号公報に記載の技術は、移動平均法を行うか否かの選択を閾値との比較によって行っているが、この閾値も静的に与えられるものであるために、ノイズ量が信号レベルにより異なることに対応できず、平均画素数や移動平均法の選択を最適に制御することはできない。このために、ノイズ成分が残存して原信号の劣化などが発生することになる。
【0009】
本発明は上記事情に鑑みてなされたものであり、画像内のノイズ量を適切に低減して高品質な画像を得ることができる撮像システムおよび画像処理プログラムを提供することを目的としている。
【0010】
【課題を解決するための手段】
上記の目的を達成するために、第1の発明による撮像システムは、複数の画素を配列してなる撮像素子からのデジタル化された信号の信号値レベルと、上記撮像素子の温度と上記信号に対するゲインと撮影時のシャッタ速度との内の少なくとも一つの情報と、に基づいてパラメータを算出するパラメータ算出手段と上記パラメータ算出手段により算出されたパラメータに基づき、上記信号中に含まれるノイズの量を一画素毎に、または複数画素でなる所定の単位面積毎に、算出するノイズ量算出手段とを有するノイズ推定手段と、このノイズ推定手段により推定されたノイズ量に基づき上記信号中のノイズを低減するノイズ低減手段と、を具備したものである。
【0011】
また、第2の発明による撮像システムは、上記第1の発明による撮像システムにおいて、上記撮像素子の前面に配置された色フィルタと、該撮像素子から出力される信号をこの色フィルタ毎の信号に分離する分離手段と、をさらに具備したものである。
【0012】
さらに、第3の発明による撮像システムは、上記第1または第2の発明による撮像システムにおいて、上記ノイズ推定手段は、上記推定されたノイズ量に対して上限値を設定する上限値設定手段を有して構成されたものである。
【0013】
第4の発明による撮像システムは、上記第1または第2の発明による撮像システムにおいて、上記ノイズ低減手段は、上記ノイズ推定手段により推定されたノイズ量に基づいて、一画素毎に、または複数画素でなる所定の単位面積毎に、ノイズの振幅値を閾値として設定する閾値設定手段とこの閾値設定手段により設定された閾値以下となる上記信号中の振幅成分を低減するスムージング手段と、を有して構成されたものである。
【0014】
第5の発明による撮像システムは、上記第1または第2の発明による撮像システムにおいて、上記ノイズ低減手段は、上記ノイズ推定手段により推定されたノイズ量に基づいて、平滑化処理の周波数特性を制御するための制御値を設定する制御値設定手段とこの制御値設定手段により設定された制御値に基づき上記信号中の特定周波数帯域を低減する平滑化処理を行うスムージング手段と、を有して構成されたものである。
【0015】
第6の発明による撮像システムは、複数の画素を配列してなる撮像素子からのデジタル化された信号中に含まれるノイズの量を、一画素毎に、または複数画素でなる所定の単位面積毎に、推定するノイズ推定手段と、このノイズ推定手段により推定されたノイズ量に基づき上記信号中のノイズを低減するノイズ低減手段とを具備し、上記ノイズ低減手段は、上記ノイズ推定手段により推定されたノイズ量に基づいて、一画素毎に、または複数画素でなる所定の単位面積毎に、ノイズの振幅値を閾値として設定する閾値設定手段とこの閾値設定手段により設定された閾値以下となる上記信号中の振幅成分を低減するスムージング手段と、を有して構成されたものである。
【0016】
第7の発明による撮像システムは、複数の画素を配列してなる撮像素子からのデジタル化された信号中に含まれるノイズの量を、一画素毎に、または複数画素でなる所定の単位面積毎に、推定するノイズ推定手段と、このノイズ推定手段により推定されたノイズ量に基づき上記信号中のノイズを低減するノイズ低減手段とを具備し上記ノイズ低減手段は上記ノイズ推定手段により推定されたノイズ量に基づいて、平滑化処理の周波数特性を制御するための制御値を設定する制御値設定手段とこの制御値設定手段により設定された制御値に基づき上記信号中の特定周波数帯域を低減する平滑化処理を行うスムージング手段と、を有して構成されたものである。
【0017】
第8の発明による撮像システムは、上記第1または第2の発明による撮像システムにおいて、上記パラメータ算出手段は、注目画素を含む所定サイズの近傍領域または上記単位面積中の複数の画素値の平均をとることにより上記信号値レベルを求める信号値算出手段を有して構成されたものである。
【0018】
第9の発明による撮像システムは、上記第1または第2の発明による撮像システムにおいて、上記パラメータ算出手段は上記撮像素子の温度を測定する温度センサを有して構成されたものである。
【0019】
第10の発明による撮像システムは、上記第1または第2の発明による撮像システムにおいて、上記撮像素子は、OB( Optical Black :オプティカルブラック)領域を有して構成されたものであって、上記パラメータ算出手段は、このOB領域の信号の分散を算出する分散算出手段とこの分散算出手段により算出された分散に基づき上記撮像素子の温度を推定する温度推定手段と、を有して構成されたものである。
【0020】
第11の発明による撮像システムは、上記第1または第2の発明による撮像システムにおいて、上記パラメータ算出手段は、ISO感度と露出情報とホワイトバランス情報との内の少なくとも1つの情報に基づいて上記ゲインを求めるゲイン算出手段を有して構成されたものである。
【0021】
第12の発明による撮像システムは、上記第1または第2の発明による撮像システムにおいて、 上記パラメータ算出手段は上記撮影時のシャッタ速度を露出情報から求めるシャッタ速度算出手段を有して構成されたものである。
【0022】
第13の発明による撮像システムは、上記第1または第2の発明による撮像システムにおいて、上記ノイズ量算出手段は、パラメータとして、上記信号の信号値レベルLと、上記撮像素子の温度Tと、上記信号に対するゲインGと、撮影時のシャッタ速度Sと、を用いてノイズ量Nを算出するものであって上記温度TとゲインGとをパラメータとする3つの関数a(T,G),b(T,G),c(T,G)と、上記シャッタ速度Sをパラメータとする関数d(S)と、に基づき4つの係数A,B,C,Dを各々算出する係数算出手段とこの係数算出手段により算出された上記4つの係数A,B,C,Dで規定される関数式
N=(AL +C)D
に基づいてノイズ量Nを算出する関数演算手段とを有して構成されたものである
【0023】
第14の発明による撮像システムは、上記第13の発明による撮像システムにおいて、上記ノイズ量算出手段は、標準のパラメータ値を付与する付与手段をさらに有して構成され、上記パラメータ値は、上記パラメータ算出手段により算出された値、または上記付与手段によって付与された標準値、である
【0024】
第15の発明による撮像システムは、上記第1または第2の発明による撮像システムにおいて、上記ノイズ量算出手段は上記パラメータ算出手段から得られなかったパラメータに関して標準のパラメータ値を付与する付与手段と、上記パラメータ算出手段または上記付与手段から得られる信号値レベルと温度とゲインとシャッタ速度とを入力としてノイズ量を求めるルックアップテーブル手段と、を有して構成されたものである
【0025】
第16の発明による撮像システムは、原色または補色の色フィルタを前面に配置した撮像素子からのデジタル化された信号を、該色フィルタ毎の色信号に分離する分離手段と、上記各色信号に関して、注目画素を含む所定サイズの近傍領域または単位面積中の複数の画素値の平均をとることにより信号値レベルを求める信号値算出手段とISO感度と露出情報とホワイトバランス情報との内の少なくとも1つの情報に基づいて上記信号に対するゲインを求めるゲイン算出手段と上記各色信号に関して上記信号値レベルと上記ゲインとを入力としてこれらの入力とノイズ量との対応関係が記述されたルックアップテーブルを参照することによりノイズ量を求めるルックアップテーブル手段と、上記各色信号に関して上記ノイズ量に基づき、一画素毎に、または複数画素でなる所定の単位面積毎に、微小振幅値を設定する微小振幅値手段と上記各色信号に関してこの微小振幅値手段により設定された微小振幅値以下の振幅成分を低減するスムージング手段とを具備したものである。
【0026】
第17の発明による画像処理プログラムは、 コンピュータに、複数の画素を配列してなる撮像素子からのデジタル化された信号中に含まれるノイズの量を、一画素毎に、または複数画素でなる所定の単位面積毎に、推定するノイズ推定手順と、このノイズ推定手順により推定されたノイズ量に基づいて、一画素毎に、または複数画素でなる所定の単位面積毎に、ノイズの振幅値を閾値として設定する閾値設定手順とこの閾値設定手順により設定された閾値以下となる上記信号中の振幅成分を低減するスムージング手順と、を実行させる。
【0027】
第18の発明による画像処理プログラムは、コンピュータに、複数の画素を配列してなる撮像素子からのデジタル化された信号中に含まれるノイズの量を、一画素毎に、または複数画素でなる所定の単位面積毎に、推定するノイズ推定手順とこのノイズ推定手順により推定されたノイズ量に基づいて、平滑化処理の周波数特性を制御するための制御値を設定する制御値設定手順とこの制御値設定手順により設定された制御値に基づき上記信号中の特定周波数帯域を低減する平滑化処理を行うスムージング手順と、を実行させる。
【0028】
第19の発明による画像処理プログラムは、コンピュータに、複数の画素を配列してなりOB( Optical Black :オプティカルブラック)領域を有して構成された撮像素子からのデジタル化された信号中の該OB領域の信号の分散を算出する分散算出手順と、この分散算出手順により算出された分散に基づき上記撮像素子の温度を推定する温度推定手順と、この温度推定手順により推定された上記撮像素子の温度と、上記信号の信号値レベルと、上記信号に対するゲインと、撮影時のシャッタ速度と、の内の少なくとも1つの情報に基づいてパラメータを算出するパラメータ算出手順とこのパラメータ算出手順により算出されたパラメータに基づいて、上記信号中に含まれると推定されるノイズの量を、一画素毎に、または複数画素でなる所定の単位面積毎に、算出するノイズ量算出手順とこのノイズ量算出手順により算出されたノイズ量に基づき上記信号中のノイズを低減するノイズ低減手順と、を実行させる。
【0029】
第20の発明による画像処理プログラムは、コンピュータに、複数の画素を配列してなる撮像素子からのデジタル化された信号の信号値レベルLと、上記撮像素子の温度Tと、上記信号に対するゲインGと、撮影時のシャッタ速度Sと、をパラメータとして算出するパラメータ算出手順と上記温度TとゲインGとをパラメータとする3つの関数a(T,G),b(T,G),c(T,G)と、上記シャッタ速度Sをパラメータとする関数d(S)と、に基づき4つの係数A,B,C,Dを各々算出する係数算出手順とこの係数算出手順により算出された上記4つの係数A,B,C,Dで規定される関数式
N=(AL +C)D
に基づいて、上記信号中に含まれると推定されるノイズ量Nを、一画素毎に、または複数画素でなる所定の単位面積毎に、算出する関数演算手順と、この関数演算手順により算出されたノイズ量に基づき上記信号中のノイズを低減するノイズ低減手順と、を実行させる。
また、第21の発明による画像処理プログラムは、コンピュータに、原色または補色の色フィルタを前面に配置した撮像素子からのデジタル化された信号を、該色フィルタ毎の色信号に分離する分離手順と、上記各色信号に関して、注目画素を含む所定サイズの近傍領域または単位面積中の複数の画素値の平均をとることにより信号値レベルを求める信号値算出手順とISO感度と露出情報とホワイトバランス情報との内の少なくとも1つの情報に基づいて上記信号に対するゲインを求めるゲイン算出手順と上記各色信号に関して上記信号値レベルと上記ゲインとを入力としてこれらの入力とノイズ量との対応関係が記述されたルックアップテーブルを参照することによりノイズ量を求めるルックアップテーブル手順と、上記各色信号に関して上記ノイズ量に基づき、一画素毎に、または複数画素でなる所定の単位面積毎に、微小振幅値を設定する微小振幅値手順と上記各色信号に関してこの微小振幅値手順により設定された微小振幅値以下の振幅成分を低減するスムージング手順とを実行させる。
【0030】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図1から図7は本発明の第1の実施形態を示したものであり、図1は撮像システムの構成を示すブロック図、図2はノイズ推定部の構成を示すブロック図、図3はOB領域の配置例を示す図、図4はOB領域の分散と撮像素子の温度との関係を示す線図、図5はノイズ量の定式化を説明するための線図、図6はノイズ量の定式化に用いるパラメータを説明するための線図、図7はノイズ低減部の構成を示すブロック図である。
【0031】
この撮像システムは、図1に示すように、被写体像を結像するためのレンズ系1と、このレンズ系1内に配置されていて該レンズ系1における光束の通過範囲を規定するための絞り2と、上記レンズ系1による結像光束から不要な高周波成分を除去するためのローパスフィルタ3と、このローパスフィルタ3を介して結像される光学的な被写体像を光電変換して電気的な画像信号を出力する白黒用の撮像素子たるCCD4と、このCCD4から出力される画像信号に相関二重サンプリングを行うCDS(Correlated Double Sampling)5と、このCDS5から出力される信号を増幅する増幅器6と、この増幅器6により増幅されたアナログの画像信号をデジタル信号へ変換するA/D変換器7と、このA/D変換器7から出力されたデジタルの画像データを一時的に記憶する画像用バッファ8と、この画像用バッファ8に記憶された画像データに基づき被写体に関する測光評価を行いその評価結果に基づき上記絞り2、CCD4、増幅器6の制御を行う測光評価部9と、上記画像用バッファ8に記憶された画像データに基づき合焦点検出を行い検出結果に基づき後述するAFモータ11を駆動する合焦点検出部10と、この合焦点検出部10により制御されて上記レンズ系1に含まれるフォーカスレンズ等の駆動を行うAFモータ11と、上記画像用バッファ8に記憶された画像データに基づき後で詳しく説明するようにノイズ推定を行うノイズ推定手段たるノイズ推定部13と、このノイズ推定部13による推定結果を用いて上記画像用バッファ8から読み出した画像データのノイズ低減を行うノイズ低減手段たるノイズ低減部12と、このノイズ低減部12から出力される画像データを処理する信号処理部14と、この信号処理部14からの画像データを例えばメモリカード等に記録するために出力する出力部15と、電源スイッチ,シャッタボタン,各種の撮影モードを切り替えるためモードスイッチ等へのインターフェースを備えた外部I/F部17と、上記CDS5,増幅器6,A/D変換器7,測光評価部9,合焦点検出部10,ノイズ低減部12,ノイズ推定部13,信号処理部14,出力部15,外部I/F部17に双方向に接続されていてこれらを含むこの撮像システムを統合的に制御するマイクロコンピュータ等でなる制御手段であってパラメータ算出手段とシャッタ速度算出手段とを兼ねた制御部16と、を有して構成されている。
【0032】
次に、図1に示したような撮像システムにおける信号の流れについて説明する。
【0033】
この撮像システムは、外部I/F部17を介してISO感度などの撮影条件を設定することができるように構成されており、これらの設定がなされた後に、2段式の押しボタンスイッチでなるシャッタボタンを半押しすることにより、プリ撮像モードに入る。
【0034】
上記レンズ系1,絞り2,ローパスフィルタ3を介してCCD4により撮影され出力された映像信号は、CDS5において、公知の相関二重サンプリングによりアナログ信号として読み出される。
【0035】
このアナログ信号は、増幅器6により所定量だけ増幅されて、A/D変換器7によりデジタル信号へ変換され、画像用バッファ8へ転送される。
【0036】
画像用バッファ8内の映像信号は、その後に、測光評価部9と合焦点検出部10とへ転送される。
【0037】
測光評価部9は、画像中の輝度レベルを求めて、設定されたISO感度や手ぶれ限界のシャッタ速度などを考慮し、適正露光となるように絞り2による絞り値やCCD4の電子シャッタ速度や増幅器6の増幅率などを制御する。
【0038】
また、合焦点検出部10は、画像中のエッジ強度を検出して、このエッジ強度が最大となるようにAFモータ11を制御し合焦画像を得る。
【0039】
このようなプリ撮像モードを行うことにより本撮影の準備が整ったところで、次に、シャッタボタンが全押しにされたことを外部I/F部17を介して検出すると、本撮影が行われる。
【0040】
この本撮影は、測光評価部9により求められた露光条件と合焦点検出部10により求められた合焦条件とに基づいて行われ、これらの撮影時の条件は制御部16へ転送される。
【0041】
こうして本撮影が行われると、映像信号が、プリ撮像のときと同様にして、画像用バッファ8へ転送され記憶される。
【0042】
この画像用バッファ8内の映像信号は、ノイズ推定部13へ転送されるが、該ノイズ推定部13へは、さらに、制御部16を介して、測光評価部9により求められた露光条件や外部I/F部17により設定されたISO感度などの撮影条件も合わせて転送される。
【0043】
ノイズ推定部13は、上記情報と映像信号とに基づき、所定サイズ毎に、例えば本実施形態においては一画素毎に(画素単位で)、ノイズ量を算出し、算出したノイズ量をノイズ低減部12へ転送する。このノイズ推定部13におけるノイズ量の算出は、制御部16の制御に基づいて、ノイズ低減部12の処理と同期して行われる。
【0044】
ノイズ低減部12は、ノイズ推定部13により算出されたノイズ量に基づいて、画像用バッファ8内の映像信号に対してノイズ低減処理を行い、処理後の映像信号を信号処理部14へ転送する。
【0045】
信号処理部14は、制御部16の制御に基づき、ノイズ低減後の映像信号に対して、公知の強調処理や圧縮処理などを行い、処理後の映像信号を出力部15へ転送する。
【0046】
出力部15は、受け取った映像信号を、メモリーカードなどへ記録し保存する。
【0047】
次に、図2を参照してノイズ推定部13の構成の一例について説明する。
【0048】
このノイズ推定部13は、制御部16の制御に基づき画像用バッファ8に記憶された映像信号から例えば図3(A)に示したようにCCD4の画像領域の右側に設けられたOB(オプティカルブラック)領域の信号を抽出するOB領域抽出部21と、このOB領域抽出部21により抽出されたOB領域の信号を記憶する第1バッファ22と、この第1バッファ22に記憶されたOB領域の信号を読み出して分散値を算出しさらに上記制御部16から転送される露光条件に関する情報を用いて上記増幅器6の増幅量に対する補正を該分散値に行う分散算出手段たる分散算出部23と、予め計測された分散値と撮像素子の温度との関係が記録されている温度推定手段たる温度推定用ROM25と、上記分散算出部23から出力された分散値とこの温度推定用ROM25からの情報とに基づき撮像素子の温度を求めるパラメータ算出手段であり温度推定手段たる温度推定部24と、上記画像用バッファ8に記憶された映像信号から所定位置における所定サイズの局所領域を抽出する信号値算出手段たる局所領域抽出部26と、この局所領域抽出部26により抽出された局所領域の信号を記憶する第2バッファ27と、この第2バッファ27に記憶された局所領域の信号を読み出して平均値を算出し注目画素の信号値レベルとして出力するパラメータ算出手段であり信号値算出手段たる平均算出部28と、上記制御部16から転送される露光条件に関する情報(ISO感度、露出情報、ホワイトバランス情報など)に基づいて上記増幅器6の増幅量を算出するパラメータ算出手段でありゲイン算出手段たるゲイン算出部29と、何れかのパラメータが省略された場合に標準値を付与する付与手段たる標準値付与部30と、ノイズ量を推定する際に用いる後述する関数に係るパラメータを記憶する係数算出手段たるパラメータ用ROM32と、このパラメータ用ROM32から読み出されるパラメータと上記温度推定部24または上記標準値付与部30から出力される撮像素子の温度と上記平均算出部28または上記標準値付与部30から出力される信号値レベルと上記ゲイン算出部29または上記標準値付与部30から出力される増幅量と上記制御部16または上記標準値付与部30から出力されるシャッタ速度との情報に基づき注目画素のノイズ量を所定の式により推定するノイズ量算出手段であり係数算出手段たる係数算出部31と、この係数算出部31から出力される係数を用いて後述するように定式化される関数を用いノイズ量を算出するノイズ量算出手段であり関数演算手段たる関数算出部33と、この関数算出部33から出力されるノイズ量が所定の閾値以上とならないように制限を課して上記ノイズ低減部12へ出力する上限値設定手段たる上限設定部34と、を有して構成されている。
【0049】
上記局所領域抽出部26は、本実施形態においては、後で説明するノイズ低減部12の処理が水平方向と垂直方向とに分離しているために、水平方向処理の場合は例えば4×1サイズ単位で、垂直方向処理の場合は例えば1×4サイズ単位で、画像全面を順次走査しながら抽出を行うようになっている。この局所領域抽出部26による処理は、ノイズ低減部12の処理と同期して行われる。
【0050】
また、上限設定部34は、理論的なノイズ量に対する低減処理が、主観的に過剰となってしまう場合を考慮して設けられたものである。すなわち、ノイズ量が大きい場合に、これを完全に取り除こうとすると、原信号が損なわれて、主観的には画質がむしろ劣化したと感じられることがある。従って、ノイズ成分が残存することになっても原信号の保存性を優先させて、トータルの画質を高くするようにしたものである。なお、この上限設定部34の機能は、外部I/F部17から操作することにより、制御部16によって停止させることも可能となっている。
【0051】
さらに、上記制御部16は、上記OB領域抽出部21、分散算出部23、温度推定部24、局所領域抽出部26、平均算出部28、ゲイン算出部29、標準値付与部30、係数算出部31、関数算出部33、上限設定部34に対して双方向に接続されており、これらを制御するようになっている。
【0052】
図4を参照して、上記温度推定部24において推定されるOB領域の分散と撮像素子の温度との関係について説明する。
【0053】
図示のように、撮像素子の温度は、OB領域の分散が大きくなるに従って、カーブを描きながら単調増加して、上昇して行くことが分かる。
【0054】
入射光のないOB領域でのランダムノイズは、暗電流ノイズが支配的となっており、この暗電流ノイズは、撮像素子の温度に関係している。
【0055】
そのために、OB領域のランダムノイズを分散値として算出して、この分散値と撮像素子の温度変化との関係を事前に計測して温度推定用ROM25に記憶させておく。これにより、温度推定部24は、分散算出部23により算出された分散値から、温度推定用ROM25に記憶された対応関係を用いて、撮像素子であるCCD4の温度を推定することが可能となる。
【0056】
なお、上述では、撮像素子の温度は素子上のどの位置でも同一であると見なして一つの温度だけを求めたが、これに限定される必要はなく、素子上の各点における局所的な温度を求めるようにしても構わない。
【0057】
例えば、図3(B)に示すように、OB領域を画像領域の四辺に配置して、画像中の特定ブロックに関して、該当する上端,下端,左端,右端のそれぞれに位置するOB領域の分散値を求め、これらの分散値を線形補間することにより特定ブロックに対する分散値を求めるようにしても良い。これにより、撮像素子の温度が不均一となる場合にも、精度の高い温度推定を行うことが可能となる。
【0058】
次に、図5を参照して、係数算出部31が注目画素のノイズ量を推定する際に用いるノイズ量の定式化について説明する。
【0059】
信号値レベルLに対するノイズ量Nの関数は、以下の数式1に示すように定式化される。
【数1】
N=ALB+C
ここに、A,B,Cは定数項であり、信号値レベルLのべき乗をなす関数に定数項が付加されたものとなっている。
【0060】
このような関数の、例えばA>0,0<B<1,C>0であるときの概形をプロットすると、図5(A)に示すような形状となる。
【0061】
しかしながら、ノイズ量Nは信号値レベルLにのみ依存するのではなく、それ以外にも、撮像素子であるCCD4の温度や増幅器6のゲインによっても変化する。従って、これらの要因も考慮に入れたものが、図5(B)に示す例となっている。
【0062】
すなわち、上記数式1では定数項であったA,B,Cの代わりに、数式2に示すように、温度TとゲインGとをパラメータとするa(T,G),b(T,G),c(T,G)を導入する。
【数2】
N=a(T,G)Lb(T,G)+c(T,G)
【0063】
この数式2により示される曲線を、複数の温度T(図示の例では温度T1〜T3)における複数のゲインG(図示の例では1,2,4倍)の場合にプロットしたのが図5(B)である。
【0064】
図5(B)は、独立変数を信号値レベルL、従属変数をノイズ量Nとして表したものであるが、パラメータである温度Tをこれらの変数に直交する方向に座標軸としてプロットしている。従って、T=T1で表される平面内、T=T2で表される平面内、T=T3で表される平面内、のそれぞれで、信号値レベルLによるノイズ量Nを読み取ることになる。このとき、さらに、パラメータであるゲインGによる曲線形状の変化を、各平面内で複数本の曲線を描くことにより表している。
【0065】
各パラメータで示される個々の曲線は、図5(A)に示したような数式1による曲線とほぼ類似した形態をなしているが、当然にして、各係数a,b,cは、温度TやゲインGの各値に応じて異なっている。
【0066】
図6(A)は上記関数a(T,G)の、図6(B)は上記関数b(T,G)の、図6(C)は上記関数c(T,G)の特性の概略の様子をそれぞれ示したものである。
【0067】
これらの各関数は、温度TとゲインGとを独立変数とする2変数関数であるために、図6(A)〜図6(C)は3次元座標としてプロットされており、このプロットされた空間における曲面となっている。ただし、ここでは具体的な曲面形状を図示する代わりに、曲線を用いて大まかな特性変化の様子を示している。
【0068】
このような関数a,b,cに温度TとゲインGとをパラメータとして入力することにより、各定数項A,B,Cが出力される。そして、これらの関数の具体的な形状は、事前に、CCD4や増幅器6を含む撮像素子系の特性を測定することにより、容易に取得することができる。
【0069】
ところで、ランダムノイズには、露光時間が長くなるにつれて増加する傾向がある。このために、同一の露光量であっても、シャッタ速度と絞り値との組み合わせが異なると、発生するノイズ量に差異が生じることがある。従って、このような差異も考慮に入れて補正を行う例について、図6(D)を参照して説明する。
【0070】
ここでは、シャッタ速度Sをパラメータとする補正係数d(S)を導入して、この補正係数を数式2に乗算する手段により、数式3に示すような定式化による補正を行うようにしている。
【数3】
N={a(T,G)Lb(T,G)+c(T,G)}d(S)
【0071】
この補正係数d(S)の関数形状は、事前に撮像素子系の特性を測定することにより得られるが、例えば図6(D)に示すような形状をなしている。図6(D)は、シャッタ速度Sに対するノイズ量の増分Dの様子を示している。
【0072】
この図6(D)に示すように、ノイズ量の増分Dは、シャッタ速度Sがある閾値STHよりも小さくなる(長時間露光になる)と急速に上昇する性質がある。従って、シャッタ速度Sがこの閾値STH以上であるか以下であるかの2通りに分けて、長時間露光の場合には関数でなるd(S)を用いるが、短時間露光となる場合には固定的な係数を用いるように簡略化しても構わない。
【0073】
上述したような4つの関数a(T,G),b(T,G),c(T,G),d(S)は、上記パラメータ用ROM32に記録される。なお、シャッタ速度に対する補正は、必ずしも関数として用意する必要はなく、その他の手段、例えばテーブルなどとして用意しても構わない。
【0074】
係数算出部31は、動的に取得された(または標準値付与部30から取得された)温度T,ゲインG,シャッタ速度Sを入力パラメータとして、パラメータ用ROM32に記録されている4つの関数を用いて各係数A,B,C,Dを算出する。
【0075】
関数算出部33は、この係数算出部31による算出された各係数A,B,C,Dを、上記数式3に適用することにより、ノイズ量Nを算出するための関数形状を決定して、該係数算出部31を介して上記平均算出部28から出力される信号値レベルLによりノイズ量Nを算出するようになっている。
【0076】
このとき、温度T,ゲインG,シャッタ速度S等の各パラメータを、必ずしも撮影毎に求める必要はない。例えば、温度Tは、電源投入時から一定時間が経過すれば安定するために、安定した後に温度推定部24において算出した温度情報を制御部16が標準値付与部30に記憶させておき、以後の算出過程を省略してこの標準値付与部30から読み出した温度情報を用いるようにすることも可能である。こうして標準値付与部30は、温度推定部24、平均算出部28、ゲイン算出部29、制御部16などからのパラメータが得られない場合に、標準的なパラメータを設定して出力するものとなっていて、これにより、処理の高速化や省電力化などを図ることが可能である。なお、標準値付与部30は、それ以外に必要とされるパラメータについても、標準的な値を出力することができるようになっている。
【0077】
次に、図7を参照してノイズ低減部12の構成の一例について説明する。
【0078】
このノイズ低減部12は、上記画像用バッファ8から水平ライン単位で順次映像信号を抽出する水平ライン抽出部41と、この水平ライン抽出部41により抽出された水平ラインの映像信号に対して画素単位で走査して行き後述する閾値設定部46からの閾値をノイズ量として公知のヒステリシススムージングを行うスムージング手段たる第1スムージング部42と、この第1スムージング部42によりスムージングされた水平ラインを順次記憶して行くことにより1画面分の映像信号を記憶するバッファ43と、このバッファ43に1画面分の映像信号が蓄積された後に該バッファ43から垂直ライン単位で順次映像信号を抽出する垂直ライン抽出部44と、この垂直ライン抽出部44により抽出された垂直ラインの映像信号に対して画素単位で走査して行き後述する閾値設定部46からの閾値をノイズ量として公知のヒステリシススムージングを行って上記信号処理部14へ順次出力するスムージング手段たる第2スムージング部45と、上記ノイズ推定部13により推定されたノイズ量を上記水平ライン抽出部41により抽出された水平ラインまたは上記垂直ライン抽出部44により抽出された垂直ラインに応じて画素単位で取得してノイズの振幅値を閾値(微小振幅値)として設定し上記第1スムージング部42または上記第2スムージング部45に出力する閾値設定手段たる閾値設定部46と、を有して構成されている。
【0079】
ここに、上記第1,第2スムージング部42,45におけるヒステリシススムージングは、制御部16の制御により、ノイズ推定部13の動作および閾値設定部46の動作と同期して行われるようになっている。
【0080】
また、上記制御部16は、上記水平ライン抽出部41、垂直ライン抽出部44、閾値設定部46に対して双方向に接続されており、これらを制御するようになっている。
【0081】
なお、上述ではノイズ量を画素単位で推定していたが、これに限るものではなく、例えば2×2画素や4×4画素などの任意の所定の単位面積毎にノイズ量を推定するようにしても構わない。この場合には、ノイズ推定精度は低下することになるが、その一方で、より高速な処理が可能となる利点がある。
【0082】
このような第1の実施形態によれば、一画素毎または単位面積毎にノイズ量を推定し、局所的なノイズ量に合わせたノイズ低減処理を行っているために、明部から暗部にかけて最適なノイズ低減が可能になり高品位な画像を得ることができる。
【0083】
また、ノイズ量に関係する各種パラメータを撮影毎に動的に求めて、これらのパラメータからノイズ量を算出しているために、撮影毎に異なる条件に動的に適応して、高精度なノイズ量の推定が可能となる。
【0084】
さらに、ノイズ量を閾値として設定して、この閾値以下の信号をノイズとして除去しているために、それ以上の信号は原信号として保存され、エッジ部が劣化することのないノイズのみが低減された高品位な画像を得ることができる。
【0085】
そして、算出されたノイズ量に対して、所定の上限値を超えないように制限を課しているために、過剰なノイズ低減処理を防止して、原信号のエッジ成分に対する保存性を確保することができる。このとき、上限値を設定するか否かを操作により設定することができるために、より主観的に良い画質が得られる方を選択することができる。
【0086】
加えて、注目画素の近傍領域で平均化することにより注目画素の信号レベルを取得しているために、ノイズ成分の影響を減らすことができ、高精度なノイズ量の推定が可能となる。
【0087】
また、撮像素子のOB領域の分散値から該撮像素子の温度を推定してノイズ量推定のパラメータとしているために、撮影時の温度変化に動的に適応して、高精度にノイズ量を推定することが可能となる。このとき、OB領域を利用しているために、低コストな撮像システムを実現することができる。
【0088】
ISO感度、露出情報、ホワイトバランス情報に基づき撮影時のゲイン量を求めてノイズ量推定のパラメータとしているために、撮影時のゲイン変化に動的に適応して高精度にノイズ量を推定することが可能となる。
【0089】
使用するシャッタ速度に対応してノイズに関する補正量を求めているために、撮影時のシャッタ速度に動的に適応して、長時間露光時に増加するノイズに対しても高精度にノイズ量を推定することが可能となる。
【0090】
撮影時に得られなかったパラメータに対して標準値を設定し、得られたパラメータと共にノイズ量算出の係数を求めて、この係数からノイズ量を算出しているために、撮影時に必要となるパラメータが得られない場合でもノイズ量を推定することが可能となり、安定したノイズ低減効果を得ることができる。また、ノイズ量の算出に関数を用いているために、必要となるメモリ量が少なく、低コスト化を図ることが可能となる。さらに、一部のパラメータ算出を意図的に省略することにより、低コスト化および省電力化を図ることも可能となる。
【0091】
こうして本実施形態によれば、ノイズ量に影響を与える要因が動的に変化しても、それに対応してノイズ量を適応的に低減することができ、高品質な画像を得ることができる。
【0092】
図8から図12は本発明の第2の実施形態を示したものであり、図8は撮像システムの構成を示すブロック図、図9は色フィルタにおける原色ベイヤー型のフィルタ構成を示す図、図10はノイズ推定部の構成を示すブロック図、図11はノイズ低減部の構成を示すブロック図、図12はコンピュータにおいて画像処理プログラムにより行われるノイズ低減処理を示すフローチャートである。
【0093】
この第2の実施形態において、上述の第1の実施形態と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【0094】
この第2の実施形態の撮像システムは、図8に示すように、上述した第1の実施形態の構成に加えて、上記CCD4の前面に配置された例えば原色ベイヤー型の色フィルタ51と、該CCD4の近傍に配置されていて該CCD4の温度をリアルタイムに計測して計測結果を上記制御部16へ出力するためのパラメータ算出手段を構成する温度センサ52と、上記画像用バッファ8に記憶された映像信号に基づき簡易的なホワイトバランス検出を行いその結果に基づいて上記増幅器6を制御するプレWB部53と、上記画像用バッファ8に記憶された映像信号を読み出して色信号の分離を行い上記ノイズ低減部12と上記ノイズ推定部13とへ出力する分離手段たる色信号分離部54と、が備えられたものとなっていて、プレWB部53と色信号分離部54とは上記制御部16に双方向に接続されて制御されるようになっている。
【0095】
この図8に示したような撮像システムにおける信号の流れは、上述した第1の実施形態と基本的に同様であり、異なる部分についてのみ説明する。
【0096】
シャッタボタンを半押しすることにより、プリ撮像モードに入ると、色フィルタ51を介した被写体像がCCD4により撮像されて映像信号として出力される。
【0097】
この映像信号は、第1の実施形態で説明したような処理がなされてデジタルの映像信号として画像用バッファ8に記憶される。この画像用バッファ8に記憶された映像信号は、上記測光評価部9や合焦点検出部10へ転送されるとともに、さらにプレWB部53へも転送される。
【0098】
このプレWB部53は、映像信号中の所定輝度レベルの信号を色信号毎に積算することにより、簡易ホワイトバランス係数を算出して増幅器6へ転送する。
【0099】
増幅器6は、プレWB部53から受け取った簡易ホワイトバランス係数を用いて、色信号毎に異なるゲインを乗算することにより、ホワイトバランス調整を行う。
【0100】
次に、シャッタボタンを全押しにしたことが検出されると、測光評価部9により求められた露光条件と合焦点検出部10により求められた合焦条件とプレWB部53により求められたホワイトバランス係数とに基づいて本撮影が行われるとともに、これらの撮影条件が制御部16へ転送される。
【0101】
本撮影により取得された映像信号は、画像用バッファ8に記憶された後に、色信号分離部54へ転送されて、色フィルタの色毎に分離される。
【0102】
CCD4の前面に配置される上記色フィルタ51のフィルタ構成は、上述したように、例えば図9に示すような原色ベイヤー(Bayer)型、つまり、2×2画素を基本単位として、対角位置に緑(G1,G2)のフィルタが配置され、残りの対角位置に赤(R)と青(B)のフィルタが配置されるものとなっている。なお、緑フィルタG1,G2は同一の光学特性のフィルタであるが、ここでは処理の便宜上、G1,G2として区別している。
【0103】
色信号分離部54は、これら4種類の色フィルタR,G1,G2,Bに応じて、画像用バッファ8内の映像信号を分離するようになっていて、この分離動作は、制御部16の制御に基づき、ノイズ低減部12の処理およびノイズ推定部13の処理と同期して行われる。
【0104】
色信号分離部54により分離された各色信号は、ノイズ推定部13へ転送されてノイズ量の推定が上述したように行われ、その推定結果を用いて、ノイズ低減部12においてノイズの低減処理が行われ、処理後の各色信号が統合されて信号処理部14へ転送される。その後の動作は、上述した第1の実施形態と同様である。
【0105】
次に、図10を参照して、本実施形態におけるノイズ推定部13の構成の一例について説明する。
【0106】
このノイズ推定部13の基本的な構成は、上述した第1の実施形態における図2に示したものと同様であり、同一の機能を果たす構成要素には同一の名称および符号を割り当てている。
【0107】
このノイズ推定部13は、上記色信号分離部54から出力される色信号毎に所定位置における所定サイズの局所領域を抽出する局所領域抽出部26と、この局所領域抽出部26により抽出された局所領域の色信号を記憶するバッファ61と、上記制御部16から転送される露光条件に関する情報とホワイトバランス係数に関する情報とに基づいて上記増幅器6の増幅量を算出するゲイン算出部29と、何れかのパラメータが省略された場合に標準値を付与する標準値付与部30と、上記バッファ61の信号を読み出して平均値と分散値とを算出し平均値を注目画素の信号値レベルとしてルックアップテーブル部63へ転送するとともに分散値をノイズ低減部12の制御パラメータとして使用するために制御部16へ転送する平均分散算出部62と、上記制御部16または標準値付与部30から出力されるシャッタ速度、上記温度センサ52または標準値付与部30から出力される撮像素子の温度に関する情報、上記ゲイン算出部29または標準値付与部30から出力される増幅量、上記平均分散算出部62または標準値付与部30から出力される信号値レベル、とノイズ量との間の関係が上述した第1の実施形態と同様の手段により構築されてルックアップテーブルとして記録されているノイズ量算出手段でありルックアップテーブル手段たるルックアップテーブル部63と、を有して構成されている。
【0108】
こうして、ルックアップテーブル部63により得られたノイズ量は、ノイズ低減部12へ転送されるようになっている。
【0109】
また、上記局所領域抽出部26の処理は上記ノイズ低減部12の処理と同期して行われるようになっており、後述するノイズ低減部12の処理がブロック単位で行われるために、本実施形態では、例えば4×4画素単位で画像全体を順次走査しながら抽出を行う。
【0110】
なお、上記制御部16は、上記局所領域抽出部26、平均分散算出部62、ゲイン算出部29、標準値付与部30、ルックアップテーブル部63に対して双方向に接続されており、これらを制御するようになっている。
【0111】
次に図11を参照して、ノイズ低減部12の構成の一例について説明する。
【0112】
このノイズ低減部12は、上記ノイズ推定部13により推定されたノイズ量に基づきフィルタサイズを設定する制御値設定手段たるサイズ設定部74と、上記色信号分離部54から出力される各色信号からこのサイズ設定部74により設定されたフィルタサイズに相当する画素ブロックを注目画素を内包するように(例えば注目画素を中心として)抽出する局所領域抽出部71と、予め設定されたフィルタサイズに対応する係数が記録されているスムージング手段たる係数用ROM75と、上記サイズ設定部74により設定されたフィルタサイズに基づき上記係数用ROM75から対応するフィルタサイズの係数を読み込んで上記局所領域抽出部71により抽出された画素ブロックに対して公知の平滑化のためのフィルタリング処理を行うスムージング手段たるフィルタリング部72と、このフィルタリング部72から出力されるフィルタリング処理された各色信号を全色についてCCD4の信号出力位置に対応するように記憶するバッファ73と、を有して構成されている。
【0113】
上記サイズ設定部74は、ノイズ推定部13により推定されたノイズ量に応じて、例えば1×1画素〜9×9画素でなるフィルタサイズから、ノイズ量が小さいときには小サイズ、大きいときには大サイズとなるように選択する。このフィルタサイズは、平滑化処理の周波数特性を制御するための制御値となっていて、これにより、ノイズの周波数特性に応じて、映像信号中の特定周波数帯域を低減するフィルタリング処理(平滑化処理)が行われることになる。
【0114】
さらに、該サイズ設定部74は、上記制御部16から注目画素近傍の信号値レベルに関する分散値情報を受けて、この分散値が小さい場合には注目画素が平坦領域であると識別し、大きい場合にはエッジ領域であると識別して、該識別結果に基づいて、平坦領域である場合はフィルタサイズの補正を行わず、エッジ領域である場合はフィルタサイズをより小サイズへと補正するようになっている。
【0115】
また、上述したような処理を各色信号毎に繰り返して行うことにより全色についてフィルタリング処理がなされバッファ73に記憶された各色信号は、その後に読み出されて上記信号処理部14により処理されるようになっている。
【0116】
なお、上記制御部16は、上記局所領域抽出部71,フィルタリング部72,サイズ設定部74に対して双方向に接続されており、これらを制御するようになっている。
【0117】
加えて、上述ではハードウェアにより処理を行うことを前提としていたが、これに限らず、ソフトウェアによって処理することも可能である。
【0118】
例えば、CCD4から出力される映像信号を未処理のままのRawデータとしておき、このRawデータに、上記制御部16からの撮影時の温度、ゲイン、シャッタ速度等の情報をヘッダ情報として付加する。このヘッダ情報が付加されたRawデータをコンピュータ等の処理装置に出力して、該処理装置において、ソフトウェアにより処理するようにしても良い。
【0119】
図12を参照して、コンピュータにおいて画像処理プログラムによりノイズ低減処理を行う例について説明する。
【0120】
処理を開始すると、まず、Rawデータでなる全色信号と、温度、ゲイン、シャッタ速度などの情報を含むヘッダ情報と、を読み込む(ステップS1)。
【0121】
次に、Rawデータを各色信号に分離して(ステップS2)、色信号毎に個別に走査して行く(ステップS3)。
【0122】
そして、注目画素を中心として、例えば4×4画素単位でなる所定サイズの局所領域を抽出する(ステップS4)。
【0123】
抽出した局所領域に対して、注目画素の信号値レベルである平均値と、平坦領域とエッジ領域とを識別するために用いる分散値と、を算出する(ステップS5)。
【0124】
次に、読み込まれたヘッダ情報から、温度、ゲイン、シャッタ速度等のパラメータを求める。このとき、ヘッダ情報に必要なパラメータが含まれていない場合には、所定の標準値を割り当るようにする(ステップS6)。
【0125】
上記ステップS5において算出された信号値レベルと、上記ステップS6において設定されたパラメータである温度、ゲイン、シャッタ速度等と、に基づいて、ルックアップテーブルを用いることによりノイズ量を算出する(ステップS7)。
【0126】
続いて、上記ステップS5において算出された分散値と、上記ステップS7において算出されたノイズ量と、に基づいて、フィルタリングサイズを求める(ステップS8)。
【0127】
注目画素を中心として、上記ステップS8において求められたフィルタリングサイズに対応する領域を抽出する(ステップS9)。
【0128】
次に、上記ステップS8において求められたフィルタリングサイズに対応する係数を読み込む(ステップS10)。
【0129】
上記ステップS9において抽出された領域に対して、上記ステップS8において求められたフィルタリングサイズと、上記ステップS10において求められた係数と、を用いて平滑化のフィルタリング処理を行う(ステップS11)。
【0130】
そして、平滑化された信号を順次出力し(ステップS12)、1色について全画面の走査が完了したか否かを判断し(ステップS13)、完了していない場合は上記ステップS3へ戻って完了するまで上述したような処理を行う。
【0131】
一方、このステップS13において画面走査が完了したと判断された場合には、さらに、全色の色信号について処理が完了したか否かを判断し(ステップS14)、まだ、全色の色信号について完了していない場合には、上記ステップS2へ戻って上述したような処理を行い、また、完了した場合には、この処理が終了となる。
【0132】
なお、上述では色フィルタ51が原色ベイヤー型である場合を例に挙げて説明したが、これに限定されるものではなく、例えば、補色フィルタである場合にも同様に適用可能であるし、さらには、二板CCDや三板CCDの場合にも同様に適用可能である。
【0133】
このような第2の実施形態によれば、上述した第1の実施形態とほぼ同様の効果を奏するとともに、色フィルタを有する撮像素子からの信号を色フィルタ毎の色信号に分離して、画素単位または単位面積毎にノイズ量を推定し、局所的なノイズ量に合わせたノイズ低減処理を行っているために、明部から暗部にかけて最適なノイズ低減を図ることが可能になり、高品位な画像を得ることができる。また、原色、補色や単板、二板、三板など多様な撮像系に対して適用することが可能となる。
【0134】
さらに、ノイズ量に対応したフィルタサイズを選択して、このフィルタサイズによりノイズ低減処理を行っているために、ノイズ成分のみが除去されて、それ以上の信号は原信号として保存され、ノイズのみが低減された高品位な画像を得ることができる。
【0135】
そして、撮影時の撮像素子の温度を直接リアルタイムに計測してノイズ量推定のパラメータとしているために、撮影時の温度変化に動的に適応して、高精度にノイズ量を推定することが可能となる。
【0136】
加えて、撮影時に得られなかったパラメータに対して標準値を設定し、得られたパラメータと共にルックアップテーブルからノイズ量を算出しているために、撮影時に必要となるパラメータが得られない場合でもノイズ量を推定することが可能となり、安定したノイズ低減効果を得ることができる。また、ノイズ量の算出にテーブルを用いているために、高速な処理が可能となる。さらに、一部のパラメータ算出を意図的に省略することにより、低コスト化および省電力化を図ることが可能となる。
【0137】
こうして本実施形態によれば、カラーCCDにおいて、ノイズ量に影響を与える要因が動的に変化しても、それに対応してノイズ量を適応的に低減することができ、高品質な画像を得ることができる。
【0138】
なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【0139】
【発明の効果】
以上説明したように本発明の撮像システムおよび画像処理プログラムによれば、画像内のノイズ量を適切に低減して高品質な画像を得ることができる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態における撮像システムの構成を示すブロック図。
【図2】上記第1の実施形態におけるノイズ推定部の構成を示すブロック図。
【図3】上記第1の実施形態におけるOB領域の配置例を示す図。
【図4】上記第1の実施形態において、OB領域の分散と撮像素子の温度との関係を示す線図。
【図5】上記第1の実施形態において、ノイズ量の定式化を説明するための線図。
【図6】上記第1の実施形態において、ノイズ量の定式化に用いるパラメータを説明するための線図。
【図7】上記第1の実施形態におけるノイズ低減部の構成を示すブロック図。
【図8】本発明の第2の実施形態における撮像システムの構成を示すブロック図。
【図9】上記第2の実施形態の色フィルタにおける原色ベイヤー型のフィルタ構成を示す図。
【図10】上記第2の実施形態におけるノイズ推定部の構成を示すブロック図。
【図11】上記第2の実施形態におけるノイズ低減部の構成を示すブロック図。
【図12】上記第2の実施形態のコンピュータにおいて画像処理プログラムにより行われるノイズ低減処理を示すフローチャート。
【符号の説明】
1…レンズ系
2…絞り
3…ローパスフィルタ
4…CCD(撮像素子)
5…CDS
6…増幅器
7…A/D変換器
8…画像バッファ
9…測光評価部
10…合焦点検出部
11…AFモータ
12…ノイズ低減部(ノイズ低減手段)
13…ノイズ推定部(ノイズ推定手段)
14…信号処理部
15…出力部
16…制御部(パラメータ算出手段、シャッタ速度算出手段)
17…外部I/F部
21…OB領域抽出部
22…第1バッファ
23…分散算出部(分散算出手段)
24…温度推定部(パラメータ算出手段、温度推定手段)
25…温度推定用ROM(温度推定手段)
26…局所領域抽出部(信号値算出手段)
27…第2バッファ
28…平均算出部(パラメータ算出手段、信号値算出手段)
29…ゲイン算出部(パラメータ算出手段、ゲイン算出手段)
30…標準値付与部(付与手段)
31…係数算出部(ノイズ量算出手段、係数算出手段)
32…パラメータ用ROM(係数算出手段)
33…関数算出部(ノイズ量算出手段、関数演算手段)
34…上限設定部(上限値設定手段)
41…水平ライン抽出部
42…第1スムージング部(スムージング手段)
43…バッファ
44…垂直ライン抽出部
45…第2スムージング部(スムージング手段)
46…閾値設定部(閾値設定手段)
51…色フィルタ
52…温度センサ(パラメータ算出手段)
53…プレWB部
54…色信号分離部(分離手段)
61…バッファ
62…平均分散算出部
63…ルックアップテーブル部(ノイズ量算出手段、ルックアップテーブル手段)
71…局所領域抽出部
72…フィルタリング部(スムージング手段)
73…バッファ
74…サイズ設定部(制御値設定手段)
75…係数用ROM(スムージング手段)

Claims (21)

  1. 複数の画素を配列してなる撮像素子からのデジタル化された信号の信号値レベルと、上記撮像素子の温度と上記信号に対するゲインと撮影時のシャッタ速度との内の少なくとも一つの情報と、に基づいてパラメータを算出するパラメータ算出手段と
    上記パラメータ算出手段により算出されたパラメータに基づき、上記信号中に含まれるノイズの量を一画素毎に、または複数画素でなる所定の単位面積毎に、算出するノイズ量算出手段と
    を有するノイズ推定手段と、
    このノイズ推定手段により推定されたノイズ量に基づき上記信号中のノイズを低減するノイズ低減手段と、
    を具備したことを特徴とする撮像システム。
  2. 上記撮像素子の前面に配置された色フィルタと、
    該撮像素子から出力される信号をこの色フィルタ毎の信号に分離する分離手段と、
    をさらに具備したことを特徴とする請求項1に記載の撮像システム。
  3. 上記ノイズ推定手段は、
    上記推定されたノイズ量に対して上限値を設定する上限値設定手段を有して構成されたものであることを特徴とする請求項1または2に記載の撮像システム。
  4. 上記ノイズ低減手段は、
    上記ノイズ推定手段により推定されたノイズ量に基づいて、一画素毎に、または複数画素でなる所定の単位面積毎に、ノイズの振幅値を閾値として設定する閾値設定手段と
    この閾値設定手段により設定された閾値以下となる上記信号中の振幅成分を低減するスムージング手段と
    を有して構成されたものであることを特徴とする請求項1または2に記載の撮像システム。
  5. 上記ノイズ低減手段は、
    上記ノイズ推定手段により推定されたノイズ量に基づいて、平滑化処理の周波数特性を制御するための制御値を設定する制御値設定手段と
    この制御値設定手段により設定された制御値に基づき上記信号中の特定周波数帯域を低減する平滑化処理を行うスムージング手段と、
    を有して構成されたものであることを特徴とする請求項1または2に記載の撮像システム。
  6. 複数の画素を配列してなる撮像素子からのデジタル化された信号中に含まれるノイズの量を、一画素毎に、または複数画素でなる所定の単位面積毎に、推定するノイズ推定手段と、
    このノイズ推定手段により推定されたノイズ量に基づき上記信号中のノイズを低減するノイズ低減手段と
    を具備し
    上記ノイズ低減手段は、
    上記ノイズ推定手段により推定されたノイズ量に基づいて、一画素毎に、または複数画素でなる所定の単位面積毎に、ノイズの振幅値を閾値として設定する閾値設定手段と
    この閾値設定手段により設定された閾値以下となる上記信号中の振幅成分を低減するスムージング手段と、
    を有して構成されたものであることを特徴とする撮像システム。
  7. 複数の画素を配列してなる撮像素子からのデジタル化された信号中に含まれるノイズの量を、一画素毎に、または複数画素でなる所定の単位面積毎に、推定するノイズ推定手段と、
    このノイズ推定手段により推定されたノイズ量に基づき上記信号中のノイズを低減するノイズ低減手段と
    を具備し
    上記ノイズ低減手段は
    上記ノイズ推定手段により推定されたノイズ量に基づいて、平滑化処理の周波数特性を制御するための制御値を設定する制御値設定手段と
    この制御値設定手段により設定された制御値に基づき上記信号中の特定周波数帯域を低減する平滑化処理を行うスムージング手段と
    を有して構成されたものであることを特徴とする撮像システム。
  8. 上記パラメータ算出手段は、
    注目画素を含む所定サイズの近傍領域または上記単位面積中の複数の画素値の平均をとることにより上記信号値レベルを求める信号値算出手段を有して構成されたものであることを特徴とする請求項1または2に記載の撮像システム。
  9. 上記パラメータ算出手段は
    上記撮像素子の温度を測定する温度センサを有して構成されたものであることを特徴とする請求項1または2に記載の撮像システム。
  10. 上記撮像素子は、OB( Optical Black :オプティカルブラック)領域を有して構成されたものであって
    上記パラメータ算出手段は、
    このOB領域の信号の分散を算出する分散算出手段と
    この分散算出手段により算出された分散に基づき上記撮像素子の温度を推定する温度推定手段と
    を有して構成されたものであることを特徴とする請求項1または2に記載の撮像システム。
  11. 上記パラメータ算出手段は、
    ISO感度と露出情報とホワイトバランス情報との内の少なくとも1つの情報に基づいて上記ゲインを求めるゲイン算出手段を有して構成されたものであることを特徴とする請求項1または2に記載の撮像システム。
  12. 上記パラメータ算出手段は
    上記撮影時のシャッタ速度を露出情報から求めるシャッタ速度算出手段を有して構成されたものであることを特徴とする請求項1または2に記載の撮像システム。
  13. 上記ノイズ量算出手段は、パラメータとして、上記信号の信号値レベルLと、上記撮像素子の温度Tと、上記信号に対するゲインGと、撮影時のシャッタ速度Sと、を用いてノイズ量Nを算出するものであって
    上記温度TとゲインGとをパラメータとする3つの関数a(T,G),b(T,G),c(T,G)と、上記シャッタ速度Sをパラメータとする関数d(S)と、に基づき4つの係数A,B,C,Dを各々算出する係数算出手段と
    この係数算出手段により算出された上記4つの係数A,B,C,Dで規定される関数式
    N=(AL +C)D
    に基づいてノイズ量Nを算出する関数演算手段と
    を有して構成されたものであることを特徴とする請求項1または2に記載の撮像システム。
  14. 上記ノイズ量算出手段は、標準のパラメータ値を付与する付与手段をさらに有して構成され
    記パラメータ値は、上記パラメータ算出手段により算出された値、または上記付与手段によって付与された標準値、であることを特徴とする請求項13に記載の撮像システム。
  15. 上記ノイズ量算出手段は
    上記パラメータ算出手段から得られなかったパラメータに関して標準のパラメータ値を付与する付与手段と、
    上記パラメータ算出手段または上記付与手段から得られる信号値レベルと温度とゲインとシャッタ速度とを入力としてノイズ量を求めるルックアップテーブル手段と、
    を有して構成されたものであることを特徴とする請求項1または2に記載の撮像システム。
  16. 原色または補色の色フィルタを前面に配置した撮像素子からのデジタル化された信号を、該色フィルタ毎の色信号に分離する分離手段と、
    上記各色信号に関して、注目画素を含む所定サイズの近傍領域または単位面積中の複数の画素値の平均をとることにより信号値レベルを求める信号値算出手段と
    ISO感度と露出情報とホワイトバランス情報との内の少なくとも1つの情報に基づいて上記信号に対するゲインを求めるゲイン算出手段と
    上記各色信号に関して上記信号値レベルと上記ゲインとを入力としてこれらの入力とノイズ量との対応関係が記述されたルックアップテーブルを参照することによりノイズ量を求めるルックアップテーブル手段と、
    上記各色信号に関して上記ノイズ量に基づき、一画素毎に、または複数画素でなる所定の単位面積毎に、微小振幅値を設定する微小振幅値手段と
    上記各色信号に関してこの微小振幅値手段により設定された微小振幅値以下の振幅成分を低減するスムージング手段と
    を具備したことを特徴とする撮像システム
  17. コンピュータに、
    複数の画素を配列してなる撮像素子からのデジタル化された信号中に含まれるノイズの量を、一画素毎に、または複数画素でなる所定の単位面積毎に、推定するノイズ推定手順と、
    このノイズ推定手順により推定されたノイズ量に基づいて、一画素毎に、または複数画素でなる所定の単位面積毎に、ノイズの振幅値を閾値として設定する閾値設定手順と
    この閾値設定手順により設定された閾値以下となる上記信号中の振幅成分を低減するスムージング手順と、
    を実行させるための画像処理プログラム。
  18. コンピュータに、
    複数の画素を配列してなる撮像素子からのデジタル化された信号中に含まれるノイズの量を、一画素毎に、または複数画素でなる所定の単位面積毎に、推定するノイズ推定手順と
    このノイズ推定手順により推定されたノイズ量に基づいて、平滑化処理の周波数特性を制御するための制御値を設定する制御値設定手順と
    この制御値設定手順により設定された制御値に基づき上記信号中の特定周波数帯域を低減する平滑化処理を行うスムージング手順と
    を実行させるための画像処理プログラム。
  19. コンピュータに、
    複数の画素を配列してなりOB( Optical Black :オプティカルブラック)領域を有して構成された撮像素子からのデジタル化された信号中の該OB領域の信号の分散を算出する分散算出手順と、
    この分散算出手順により算出された分散に基づき上記撮像素子の温度を推定する温度推定手順と、
    この温度推定手順により推定された上記撮像素子の温度と、上記信号の信号値レベルと、上記信号に対するゲインと、撮影時のシャッタ速度と、の内の少なくとも1つの情報に基づいてパラメータを算出するパラメータ算出手順と
    このパラメータ算出手順により算出されたパラメータに基づいて、上記信号中に含まれると推定されるノイズの量を、一画素毎に、または複数画素でなる所定の単位面積毎に、算出するノイズ量算出手順と
    このノイズ量算出手順により算出されたノイズ量に基づき上記信号中のノイズを低減するノイズ低減手順と
    を実行させるための画像処理プログラム。
  20. コンピュータに、
    複数の画素を配列してなる撮像素子からのデジタル化された信号の信号値レベルLと、
    上記撮像素子の温度Tと、上記信号に対するゲインGと、撮影時のシャッタ速度Sと、を パラメータとして算出するパラメータ算出手順と
    上記温度TとゲインGとをパラメータとする3つの関数a(T,G),b(T,G),c(T,G)と、上記シャッタ速度Sをパラメータとする関数d(S)と、に基づき4つの係数A,B,C,Dを各々算出する係数算出手順と
    この係数算出手順により算出された上記4つの係数A,B,C,Dで規定される関数式
    N=(AL +C)D
    に基づいて、上記信号中に含まれると推定されるノイズ量Nを、一画素毎に、または複数画素でなる所定の単位面積毎に、算出する関数演算手順と
    この関数演算手順により算出されたノイズ量に基づき上記信号中のノイズを低減するノイズ低減手順と
    を実行させるための画像処理プログラム。
  21. コンピュータに、
    原色または補色の色フィルタを前面に配置した撮像素子からのデジタル化された信号を、該色フィルタ毎の色信号に分離する分離手順と、
    上記各色信号に関して、注目画素を含む所定サイズの近傍領域または単位面積中の複数の画素値の平均をとることにより信号値レベルを求める信号値算出手順と
    ISO感度と露出情報とホワイトバランス情報との内の少なくとも1つの情報に基づいて上記信号に対するゲインを求めるゲイン算出手順と
    上記各色信号に関して上記信号値レベルと上記ゲインとを入力としてこれらの入力とノイズ量との対応関係が記述されたルックアップテーブルを参照することによりノイズ量を求めるルックアップテーブル手順と、
    上記各色信号に関して上記ノイズ量に基づき、一画素毎に、または複数画素でなる所定の単位面積毎に、微小振幅値を設定する微小振幅値手順と
    上記各色信号に関してこの微小振幅値手順により設定された微小振幅値以下の振幅成分を低減するスムージング手順と
    を実行させるための画像処理プログラム
JP2002229059A 2002-08-06 2002-08-06 撮像システムおよび画像処理プログラム Active JP3934506B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002229059A JP3934506B2 (ja) 2002-08-06 2002-08-06 撮像システムおよび画像処理プログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2002229059A JP3934506B2 (ja) 2002-08-06 2002-08-06 撮像システムおよび画像処理プログラム
US10/630,438 US7570287B2 (en) 2002-08-06 2003-07-30 Image pickup system for noise estimating and noise reduction
US12/364,044 US8169509B2 (en) 2002-08-06 2009-02-02 Image pickup system with signal noise reduction

Publications (2)

Publication Number Publication Date
JP2004072422A JP2004072422A (ja) 2004-03-04
JP3934506B2 true JP3934506B2 (ja) 2007-06-20

Family

ID=31492279

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002229059A Active JP3934506B2 (ja) 2002-08-06 2002-08-06 撮像システムおよび画像処理プログラム

Country Status (2)

Country Link
US (2) US7570287B2 (ja)
JP (1) JP3934506B2 (ja)

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100493900B1 (ko) * 2003-08-21 2005-06-10 삼성전자주식회사 사용자간 콘텐츠에 대한 권한정보의 공유방법
US7369699B1 (en) * 2003-08-29 2008-05-06 Apple Inc. Methods and apparatuses for restoring color and enhancing electronic images
US7391925B2 (en) * 2003-12-04 2008-06-24 Lockheed Martin Missiles & Fire Control System and method for estimating noise using measurement based parametric fitting non-uniformity correction
JP3934597B2 (ja) 2003-12-09 2007-06-20 オリンパス株式会社 撮像システムおよび画像処理プログラム
JP4324502B2 (ja) * 2004-03-29 2009-09-02 富士フイルム株式会社 Ccd型固体撮像素子及びデジタルカメラ
JP2005303802A (ja) * 2004-04-14 2005-10-27 Olympus Corp 撮像装置および画像処理プログラム
JP4441321B2 (ja) * 2004-04-27 2010-03-31 オリンパス株式会社 画像処理装置、画像処理方法及びプログラム
JP4555604B2 (ja) * 2004-05-10 2010-10-06 オリンパス株式会社 カプセル型内視鏡およびカプセル型内視鏡システム
JP4831941B2 (ja) * 2004-06-08 2011-12-07 オリンパス株式会社 撮像処理システム、プログラム及び記憶媒体
US7045756B2 (en) * 2004-08-05 2006-05-16 Applera Corporation Methods and systems for in situ calibration of imaging in biological analysis
JP2006079069A (ja) * 2004-08-13 2006-03-23 Sanyo Electric Co Ltd 電子カメラ
JP2006087030A (ja) * 2004-09-17 2006-03-30 Olympus Corp ノイズ低減装置
JP4547223B2 (ja) * 2004-09-28 2010-09-22 オリンパス株式会社 撮像システム、ノイズ低減処理装置及び撮像処理プログラム
JP4534715B2 (ja) * 2004-10-22 2010-09-01 株式会社ニコン 撮像装置および画像処理プログラム
JP4427001B2 (ja) 2005-05-13 2010-03-03 オリンパス株式会社 画像処理装置、画像処理プログラム
US7551799B2 (en) * 2005-05-13 2009-06-23 Seiko Epson Corporation Apparatus and method for image noise reduction
JP2006345422A (ja) * 2005-06-10 2006-12-21 Sanyo Electric Co Ltd 撮像装置及び信号処理方法
JP4410168B2 (ja) * 2005-07-15 2010-02-03 三菱電機株式会社 画像処理装置
JP4660342B2 (ja) 2005-10-12 2011-03-30 オリンパス株式会社 画像処理システム、画像処理プログラム
JP2007110576A (ja) * 2005-10-17 2007-04-26 Fujifilm Corp 被写体像データの色補正装置およびその制御方法
JPWO2007049418A1 (ja) * 2005-10-26 2009-04-30 オリンパス株式会社 画像処理システム、画像処理プログラム
JP4837365B2 (ja) 2005-11-16 2011-12-14 オリンパス株式会社 画像処理システム、画像処理プログラム
US8120658B2 (en) 2006-01-19 2012-02-21 Qualcomm Incorporated Hand jitter reduction system for cameras
WO2008039551A1 (en) * 2006-09-25 2008-04-03 Qualcomm Incorporated A hand jitter reduction system for cameras
JP2007201541A (ja) * 2006-01-23 2007-08-09 Ricoh Co Ltd 画像処理装置、撮像装置、画像処理方法、および画像処理プログラム
JP5121206B2 (ja) 2006-10-23 2013-01-16 オリンパス株式会社 画像処理装置、画像処理プログラム、画像処理方法
US8675101B1 (en) * 2007-03-28 2014-03-18 Ambarella, Inc. Temperature-based fixed pattern noise and bad pixel calibration
US8237824B1 (en) * 2007-03-28 2012-08-07 Ambarella, Inc. Fixed pattern noise and bad pixel calibration
US8023013B1 (en) 2007-03-28 2011-09-20 Ambarella, Inc. Fixed pattern noise correction with compressed gain and offset
JP4823129B2 (ja) * 2007-04-13 2011-11-24 キヤノン株式会社 カメラシステムおよび交換レンズ
JP5052189B2 (ja) * 2007-04-13 2012-10-17 オリンパス株式会社 映像処理装置及び映像処理プログラム
JP2008292541A (ja) * 2007-05-22 2008-12-04 Nec Electronics Corp 自動焦点調整装置、自動焦点調整方法
JP5165300B2 (ja) * 2007-07-23 2013-03-21 オリンパス株式会社 映像処理装置および映像処理プログラム
JP4708443B2 (ja) * 2008-01-31 2011-06-22 トヨタ自動車株式会社 作動制御マップおよび白線認識装置
US7941297B2 (en) * 2008-04-10 2011-05-10 Ati Technologies Ulc Noise measurement in video images
JP5087529B2 (ja) * 2008-12-01 2012-12-05 オリンパス株式会社 識別処理装置、識別処理プログラム及び識別処理方法
US8610804B1 (en) * 2009-03-02 2013-12-17 Marvell International Ltd. Gain value interpolation
JP2011022131A (ja) * 2009-06-18 2011-02-03 Japan Found Cancer Res 医療診断支援装置、画像処理方法、画像処理プログラム、およびバーチャル顕微鏡システム
US8279316B2 (en) * 2009-09-30 2012-10-02 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US8294803B2 (en) * 2009-09-30 2012-10-23 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US8314873B2 (en) * 2009-09-30 2012-11-20 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US8279317B2 (en) * 2009-09-30 2012-10-02 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US20110074997A1 (en) * 2009-09-30 2011-03-31 Border John N Methods for capturing and reading out images from an image sensor
US8194164B2 (en) * 2009-09-30 2012-06-05 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US8194165B2 (en) * 2009-09-30 2012-06-05 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US8194166B2 (en) 2009-09-30 2012-06-05 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US8149303B2 (en) * 2009-09-30 2012-04-03 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
JP5523065B2 (ja) * 2009-11-13 2014-06-18 キヤノン株式会社 撮像装置及びその制御方法
KR101630303B1 (ko) * 2010-02-02 2016-06-14 삼성전자주식회사 디지털 영상 처리 장치 및 그 제어 방법
JP5589760B2 (ja) * 2010-10-27 2014-09-17 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム。
JP2012134661A (ja) * 2010-12-20 2012-07-12 Samsung Yokohama Research Institute Co Ltd 画像処理装置、プログラムおよび画像処理方法
IT1404810B1 (it) * 2011-01-26 2013-11-29 St Microelectronics Srl Riconoscimento di texture nell'elaborazione di immagini
JP5477432B2 (ja) * 2012-03-15 2014-04-23 カシオ計算機株式会社 撮像装置、撮像方法、及びプログラム
WO2013150824A1 (ja) * 2012-04-04 2013-10-10 三菱電機株式会社 画像処理装置及び方法、並びに画像処理プログラム
KR101312459B1 (ko) * 2012-05-23 2013-09-27 서울대학교산학협력단 의료영상의 잡음 저감 방법
JP2014068109A (ja) * 2012-09-25 2014-04-17 Nippon Hoso Kyokai <Nhk> 撮像装置
WO2014144443A2 (en) * 2013-03-15 2014-09-18 Yale University Techniques for processing imaging data having sensor-dependent noise
CN105765980A (zh) * 2013-11-22 2016-07-13 索尼公司 传输装置、传输方法、接收装置和接收方法
JP6299544B2 (ja) * 2014-09-24 2018-03-28 株式会社Jvcケンウッド 固体撮像装置
KR20180100150A (ko) * 2016-01-29 2018-09-07 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 광 레벨 적응 필터 및 방법

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6346077A (en) * 1986-08-13 1988-02-26 Hitachi Ltd Dark current removing system for image pickup device
JP2565260B2 (ja) 1987-10-17 1996-12-18 ソニー株式会社 固体撮像装置用画像欠陥補正装置
US5047861A (en) * 1990-07-31 1991-09-10 Eastman Kodak Company Method and apparatus for pixel non-uniformity correction
US6072526A (en) * 1990-10-15 2000-06-06 Minolta Co., Ltd. Image sensing device that can correct colors corresponding to skin in a video signal
US5563962A (en) * 1994-03-08 1996-10-08 The University Of Connecticut Two dimensional digital hysteresis filter for smoothing digital images
EP0729270B1 (en) * 1995-02-24 2002-12-18 Eastman Kodak Company Black pattern correction for a charge transfer sensor
WO1997007631A1 (en) * 1995-08-11 1997-02-27 Kabushiki Kaisha Toshiba Image system, solid-state imaging device semiconductor integrated circuit, and differential output method used in the system
EP0877524B1 (en) * 1997-05-09 2006-07-19 SGS-THOMSON MICROELECTRONICS S.r.l. Digital photography apparatus with an image-processing unit
JPH11317516A (ja) * 1998-05-06 1999-11-16 Sony Corp 固体撮像装置
JP4118397B2 (ja) 1998-07-01 2008-07-16 イーストマン コダック カンパニー 固体カラー撮像デバイスのノイズ除去方法
JP4344964B2 (ja) 1999-06-01 2009-10-14 ソニー株式会社 画像処理装置および画像処理方法
US6148152A (en) * 1999-06-08 2000-11-14 Hewlett-Packard Company Compensation for thermal degradation of the optical performance in a digital imaging system
JP2001157057A (ja) 1999-11-30 2001-06-08 Konica Corp 画像読取装置
US6813389B1 (en) 1999-12-15 2004-11-02 Eastman Kodak Company Digital image processing method and system including noise reduction and tone scale adjustments
US6992712B2 (en) * 2000-02-04 2006-01-31 Olympus Optical Co., Ltd. Imaging apparatus
US6927795B1 (en) * 2000-06-09 2005-08-09 Hewlett-Packard Development Company, Lp Dark signal closed loop thermal control for digital imaging systems
JP4064038B2 (ja) 2000-06-09 2008-03-19 富士フイルム株式会社 固体撮像素子を用いた画像取得装置および画像取得方法並びにその方法を実行するためのプログラムを記録した記録媒体
JP4210021B2 (ja) 2000-06-21 2009-01-14 富士フイルム株式会社 画像信号処理装置および画像信号処理方法
JP4497759B2 (ja) * 2000-06-30 2010-07-07 キヤノン株式会社 画像処理装置及びその処理方法
JP3897520B2 (ja) * 2000-07-11 2007-03-28 キヤノン株式会社 撮像装置および撮像装置の制御方法
JP3664231B2 (ja) * 2000-08-09 2005-06-22 日本電気株式会社 カラー画像処理装置
JP5108172B2 (ja) * 2000-09-06 2012-12-26 株式会社ニコン 画像データサイズ変換処理装置、電子スチルカメラ、および画像データサイズ変換処理用記録媒体
US6965395B1 (en) * 2000-09-12 2005-11-15 Dialog Semiconductor Gmbh Methods and systems for detecting defective imaging pixels and pixel values
JP4154847B2 (ja) 2000-09-26 2008-09-24 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置、画像処理方法および画像処理プログラムを記録したコンピュータ読取可能な記録媒体
JP4485087B2 (ja) * 2001-03-01 2010-06-16 株式会社半導体エネルギー研究所 半導体装置の動作方法
US6714241B2 (en) * 2001-04-25 2004-03-30 Hewlett-Packard Development Company, L.P. Efficient dark current subtraction in an image sensor
EP1289309B1 (en) 2001-08-31 2010-04-21 STMicroelectronics Srl Noise filter for Bayer pattern image data
US6904169B2 (en) * 2001-11-13 2005-06-07 Nokia Corporation Method and system for improving color images
JP2003204486A (ja) * 2002-01-09 2003-07-18 Olympus Optical Co Ltd 撮像装置
US7064785B2 (en) * 2002-02-07 2006-06-20 Eastman Kodak Company Apparatus and method of correcting for dark current in a solid state image sensor
US7102672B1 (en) * 2002-02-08 2006-09-05 Electro Optical Sciences Inc Integrated CMOS imaging array dark current monitor
US7113210B2 (en) * 2002-05-08 2006-09-26 Hewlett-Packard Development Company, L.P. Incorporating pixel replacement for negative values arising in dark frame subtraction
US20030214590A1 (en) * 2002-05-17 2003-11-20 Kevin Matherson System and method for adaptively compensating for dark current in an image capture device
US6974973B2 (en) * 2002-11-08 2005-12-13 Micron Technology, Inc. Apparatus for determining temperature of an active pixel imager and correcting temperature induced variations in an imager

Also Published As

Publication number Publication date
US20090141150A1 (en) 2009-06-04
US8169509B2 (en) 2012-05-01
US7570287B2 (en) 2009-08-04
US20040027469A1 (en) 2004-02-12
JP2004072422A (ja) 2004-03-04

Similar Documents

Publication Publication Date Title
JP4186699B2 (ja) 撮像装置および画像処理装置
JP3824237B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
US20050083419A1 (en) Image sensing apparatus and image sensor for use in image sensing apparatus
JP3892648B2 (ja) 画像入力装置、ホワイトバランス調整方法、およびその方法を実行するためのプログラムを格納したコンピュータが読取可能な記録媒体
JP4218723B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
US7847841B2 (en) Image pickup system for reducing noise attributable to an image pickup device
JP4003399B2 (ja) 画像処理装置および方法、並びに記録媒体
CN1278540C (zh) 降低图像噪声
JP4210021B2 (ja) 画像信号処理装置および画像信号処理方法
US7057653B1 (en) Apparatus capable of image capturing
US7030911B1 (en) Digital camera and exposure control method of digital camera
JP4668185B2 (ja) 画像処理方法
US8767103B2 (en) Color filter, image processing apparatus, image processing method, image-capture apparatus, image-capture method, program and recording medium
US8786764B2 (en) Imaging apparatus, imaging method, and non-transitory storage medium which perform backlight correction
JP5067499B2 (ja) 画像処理装置
JP2003116060A (ja) 欠陥画素補正装置
US8199227B2 (en) Image-signal processing apparatus for performing space-variant image-signal processing
JP4583680B2 (ja) 固体撮像装置
CN1675919B (zh) 摄像系统及图像处理方法
JP4254841B2 (ja) 撮像装置、撮像方法、画像処理装置、画像処理方法および画像処理プログラム
US7262793B2 (en) Imager and image quality correcting method performing correction based on the output of different readout modes
US8363131B2 (en) Apparatus and method for local contrast enhanced tone mapping
US20010030707A1 (en) Digital camera
JP5315158B2 (ja) 画像処理装置及び画像処理方法
US20070013794A1 (en) Image pickup system and image processing program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050804

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051227

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070313

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070315

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110330

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110330

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120330

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120330

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130330

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140330

Year of fee payment: 7

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250