JP4409063B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP4409063B2 JP4409063B2 JP2000213178A JP2000213178A JP4409063B2 JP 4409063 B2 JP4409063 B2 JP 4409063B2 JP 2000213178 A JP2000213178 A JP 2000213178A JP 2000213178 A JP2000213178 A JP 2000213178A JP 4409063 B2 JP4409063 B2 JP 4409063B2
- Authority
- JP
- Japan
- Prior art keywords
- temperature
- pixel
- value
- image sensor
- mos
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、Ｃ−ＭＯＳイメージセンサを搭載したデジタルカメラやデジタルカメラで撮影した画像の読み出し・画像処理を行う装置等の画像処理装置および画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体に関するものである。
【０００２】
【従来の技術】
Ｃ−ＭＯＳイメージセンサは、プロセスがＣ−ＭＯＳであることから、従来のＣ−ＭＯＳＬＳＩ製造ラインで製造でき、単一電源で駆動でき、消費電力も小さい。また、固体撮像素子として従来から一般的に用いられているＣＣＤでは別のチップとして搭載する必要があったタイミングジェネレータ等をＣ−ＭＯＳイメージセンサチップ内部に集積することができるため、デジタルカメラの小型化が可能である等、ＣＣＤに比べ優れた点が多い。そのため、Ｃ−ＭＯＳイメージセンサを用いたデジタルカメラが普及し始めている。
【０００３】
そのような優れた特長の一方、Ｃ−ＭＯＳイメージセンサの画素を構成するフォトダイオードの蓄積電荷をＭＯＳトランジスタでスイッチングして読み出しているため、理想的にはフォトダイオードの光電変換による電荷のみがスイッチング操作により外部に読み出されればよいが、ＭＯＳトランジスタの製造バラツキによりフォトダイオードで光電変換以外の電荷が発生し、それが本来の撮像画像による電荷にプラスされ周囲画素よりも明るい画素として現れてしまう。これは特に周囲画素よりも明るい白い点として見えることから白点ノイズとよばれている。
【０００４】
また、同じＣ−ＭＯＳイメージセンサ内でも画素によるバラツキが大きいため、上記光電変換以外の電荷が多い画素がイメージセンサ内で多い場合は画像品質を劣化させる要因となる。すなわち、上記光電変換以外の電荷が多いことにより白点の輝度値がまちまちであり、しかも、白い点として見える画素がエリアセンサー内で多い場合は、画面一面に白点がばらまかれたような画像となり画像品質を著しく劣化させる。
【０００５】
また、このノイズレベルは温度が上昇に伴い増加する。すなわち、この白点の輝度値は、上述したように画素によるバラツキは大きいが、平均的に温度の上昇に伴い増加する。例えば、常温でＳ／Ｎが良好なＣ−ＭＯＳイメージセンサも、周囲温度が上昇し、Ｃ−ＭＯＳイメージセンサチップの温度も上昇すると、ノイズが目立つようになり、画像全体に白く浮き上がり、特にノイズレベルの高い画素は白点として現れる。すなわち、画像全体に散らばっている白点により画像全体が白く浮き上がる印象を与える。かつ、Ｓ／Ｎの著しい劣化、コントラストの低下、ダイナミックレンジが狭くなる等の影響が出る。
【０００６】
そこで、ＣＣＤの例では、特開平７−３３６６０３号公報に見られるように、温度上昇により順方向電圧降下が減少するダイオードの特性を利用してフィードバックループを構成してＣＣＤの基板電圧を制御し、ダイナミックレンジを確保する手法がある。
【０００７】
【発明が解決しようとする課題】
このようなＣ−ＭＯＳイメージセンサの温度上昇によるノイズレベル悪化に対し、Ｃ−ＭＯＳイメージセンサ自体の特性の改良が様々に試みられているが、製造プロセス上、ＣＣＤレベルまで向上するのは現状では困難である。
【０００８】
また、このようなＣ−ＭＯＳイメージセンサを採用したデジタルカメラのシステム全体についてみても、ノイズに関しては、採用するＣ−ＭＯＳイメージセンサ自体の温度−ノイズ特性に委ねられているのみであるのが現状である。
【０００９】
また、Ｃ−ＭＯＳイメージセンサは個体ごとに温度特性バラツキがあるため、上述のようにデバイス（ダイオード）の温度特性を利用して補正する方法では、このような個々のＣ−ＭＯＳイメージセンサの温度特性バラツキを吸収することは不可能であり、個々のＣ−ＭＯＳイメージセンサに対応できない。
【００１０】
また、Ｃ−ＭＯＳデジタルカメラで撮影した画像が上記白点を多く含んでいた場合に、画像処理装置に転送した後で、操作者が自分で画像処理の各操作パラメータをカット＆トライにて決めてノイズ低減処理を行う必要がある。
【００１１】
本発明は、上記問題点に鑑みなされたものであり、その目的は、Ｃ−ＭＯＳイメージセンサの温度上昇によるノイズレベル悪化を容易に軽減でき、温度に関係なくノイズの少ない高品位な画像表示が可能な画像処理装置および、画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体を提供することにある。
【００１２】
【課題を解決するための手段】
上記の課題を解決するため、本発明の画像処理装置は、上記Ｃ−ＭＯＳイメージセンサの、温度に依存するノイズが発生しない時点の画素の画素値をＤidとするとき、上記Ｃ−ＭＯＳイメージセンサの温度を測る温度計測手段と、上記Ｃ−ＭＯＳイメージセンサの温度の情報が入力され、上記Ｃ−ＭＯＳイメージセンサの温度に基づき、上記画素の画素値が上記Ｄidに近づく方向に補正する画像補正手段とを備えたことを特徴としている。
【００１３】
これにより、Ｃ−ＭＯＳイメージセンサが昇温して画像のノイズが増大しても、それを効果的に軽減することができる。それゆえ、Ｃ−ＭＯＳイメージセンサの温度上昇によるノイズレベル悪化を容易に軽減でき、温度に関係なくノイズの少ない高品位な画像表示の可能な画像処理を行うことができるという効果を奏する。
【００１４】
例えば、昇温により必要量以上の電荷が多くなり輝度値が増大してしまう場合でも、画素の輝度値を小さくする方向へ画像データを補正し、それにより、輝度値の増大による白点などのノイズを軽減することができる。
【００１５】
ここで、所定の補正手順、例えば、式による計算や、あらかじめ用意したデータテーブルの参照などの手順を用いることができる。
【００１６】
このように、採用するＣ−ＭＯＳイメージセンサ自体の温度−ノイズ特性に委ねるのではなく、Ｃ−ＭＯＳイメージセンサを採用したデジタルカメラ等の画像処理装置システム全体で、ノイズを軽減すべく、好適に画像データを補正している。
【００１７】
そのため、Ｃ−ＭＯＳイメージセンサの温度上昇によるノイズレベル悪化に対し、Ｃ−ＭＯＳイメージセンサ自体の特性の改良が不要である。また、Ｃ−ＭＯＳイメージセンサの個体ごとに温度特性バラツキが存在していても、これを吸収することができ、個々のＣ−ＭＯＳイメージセンサに対応できる。また、Ｃ−ＭＯＳデジタルカメラで撮影した画像が上記白点を多く含んでいた場合に、画像処理装置に転送した後で、操作者が自分で画像処理の各操作パラメータをカット＆トライにて決める必要がない。
【００１８】
それゆえ、Ｃ−ＭＯＳイメージセンサの温度上昇によるノイズレベル悪化を容易に軽減でき、温度に関係なくノイズの少ない高品位な画像表示の可能な画像処理を行うことができる。
【００１９】
上記本発明の画像処理装置は、撮影した画像を外部インタフェースを介して外部の別の画像処理装置に転送する機能を持つ、Ｃ−ＭＯＳイメージセンサを搭載したデジタルカメラとすることができる。また、本発明の画像処理装置は、上記温度計測手段の出力を入力とし、露光調整、ホワイトバランス調整、ノイズレベル補正を行う制御マイコン（マイクロコンピュータ）や、画像の高品質化ブロックとして、階調補正処理やエッジ強調処理を行うブロックを有することができる。
【００２０】
また、このノイズレベル補正として、Ｃ−ＭＯＳイメージセンサ出力をアナログ増幅するＡＧＣアンプの制御最大値を制限したり、アナログ増幅した後Ａ／Ｄ変換器の入力オフセット電圧を調節したり、画像高品質化ブロックにおける階調補正パラメータやエッジ強調パラメータを調節したりするように構成することができる。
【００２１】
また、上記制御マイコンの管理下に不揮発性メモリを有し、動作保証温度範囲を数個に分割し、そのおのおのの分割範囲と上記ノイズレベル補正パラメータとの対応テーブルを上記不揮発性メモリに記憶し、制御マイコンが、上記Ｃ−ＭＯＳイメージセンサの温度がどの温度範囲に属するかを判定し、温度範囲に対応したノイズレベル補正パラメータを上記不揮発性メモリから読み出し、上記各高品質化ブロックに設定するように構成することができる。
【００２２】
また、本発明の画像処理装置は、上記構成において、Ａ／Ｄ変換前後の上記画素の画素値をそれぞれＸ、Ｙとし、上記Ｃ−ＭＯＳイメージセンサの温度によって定まる境界値をＣａとするとき、
Ｘ≦ＣａのときＹ＝０、
Ｃａ＜ＸのときＹ＝Ｘ−Ｃａ
を満たすようにＡ／Ｄ変換するＡ／Ｄ変換器を備え、上記画像補正手段が、上記Ｃ−ＭＯＳイメージセンサの昇温につれて上記Ｃａを増加させることを特徴としている。
【００２３】
上記の構成により、Ｘ≦ＣａのときにはＹ＝０を満たすようにＡ／Ｄ変換し、Ｃａ＜ＸのときにはＹ＝Ｘ−Ｃａを満たすようにＡ／Ｄ変換する。したがって、Ａ／Ｄ変換前の元の画素値が高い部分では、Ａ／Ｄ変換後の画素値は、元の画素値より低いが比較的高い画素値が保たれる一方、ある境界値Ｃａを境にして、Ａ／Ｄ変換前の元の画素値が低い部分では、元の画素値に関係なく、Ａ／Ｄ変換後の画素値が０となる。すなわち、Ａ／Ｄ変換前の元の入力画素値の範囲を２分割し、元の画素値が低い範囲については、Ａ／Ｄ変換後の画素値は０になり、元の画素値が高い範囲については、Ａ／Ｄ変換後の画素値は、比例定数が１で、ある正の境界値Ｃａ分だけ小さくなるような入出力特性を持ったＡ／Ｄ変換特性となっている。
【００２４】
このため、明るい部分と暗い部分との差がより強調される。それゆえ、上記の構成による効果に加えて、Ｃ−ＭＯＳイメージセンサの温度上昇によるノイズゆえに白点化などのように全体的に輝度が高くなるのを防止し、画像のコントラストをより良好に、よりきめ細かく高めることができ、より高品位表示化することができる。
【００２５】
また、本発明の画像処理装置は、上記構成において、階調補正前後の上記画素の画素値をそれぞれＸ、Ｙとし、上記Ｃ−ＭＯＳイメージセンサの温度によって定まる境界値をＣｇとするとき、定数ｇ、０＜ｐ＜１を満たす定数ｐ、０＜ｒ＜１を満たす定数ｒに対し、
Ｘ≦ＣｇのときＹ＝ｐＸ、
Ｃｇ＜ＸのときＹ＝ｇ・｛（Ｘ−Ｃｇ）／（ｇ−Ｃｇ）｝r ＋ｐＣｇ
を満たすように階調補正する階調補正処理部を備え、上記画像補正手段が、上記Ｃ−ＭＯＳイメージセンサの昇温につれて上記Ｃｇを増加させることを特徴としている。
【００２６】
上記の構成により、Ｘ≦ＣｇのときＹ＝ｐＸ、Ｃｇ＜ＸのときＹ＝ｇ・｛（Ｘ−Ｃｇ）／（ｇ−Ｃｇ）｝r ＋ｐＣｇを満たすように階調補正する。したがって、上に凸の指数関数に沿い、画素値が中程度の部分では、階調補正後の画素値は、階調補正前の元の画素値より大きくなり、階調補正前の元の画素値が高い部分では、その大きくなる度合いが徐々に小さくなる。一方、画素値のある境界値Ｃｇを境にして、階調補正前の元の画素値が低い部分では、０＜ｐ＜１であるため、階調補正後の画素値は、階調補正前の元の画素値より画素値が小さくなる。すなわち、階調補正前の元の入力画素値の範囲を２分割し、画素値が低い範囲については、比例定数が１よりも小さくかつ０より大きい１次式となり、画素値が高い範囲に関しては、中間調増幅特性となる入出力特性を持つような階調補正特性を有している。
【００２７】
このため、明るい部分と暗い部分との差がより強調される。それゆえ、上記の構成による効果に加えて、Ｃ−ＭＯＳイメージセンサの温度上昇によるノイズゆえに白点化などのように全体的に輝度が高くなるのを防止し、画像のコントラストをより良好に、よりきめ細かく高めることができ、より高品位表示化することができる。
【００２８】
また、本発明の画像処理装置は、上記構成において、上記画像補正手段が、上記Ｃ−ＭＯＳイメージセンサの温度によって定まる基準値Ｙｄを、上記Ｃ−ＭＯＳイメージセンサの昇温につれて減少させ、１画像サイズ分の画素内の任意の横３画素、縦３画素より構成される画素エリアを考え、注目画素をその３×３画素エリアの中央の画素としたとき、全９画素のそれぞれ赤、緑、青の画素値であるＲ値、Ｇ値、Ｂ値をそれぞれ昇順または降順に並べ替えたときのＲ値、Ｇ値、Ｂ値それぞれにおける中央値Ｒｃ、Ｇｃ、Ｂｃを求め、各色において、上記９画素の輝度平均値Ｙｎを求め、上記注目画素の輝度値Ｙｍと上記９画素の輝度平均値Ｙｎとを比較し、その差が上記基準値Ｙｄ以上であるときに、上記注目画素のＲ値、Ｇ値、Ｂ値をそれぞれ上記９画素の中央値Ｒｃ、Ｇｃ、Ｂｃで置き換えることを特徴としている。
【００２９】
上記の構成により、１画像サイズ分、例えばデジタルカメラ撮影画像の１画面分の、画素内の任意の横３画素、縦３画素より構成される画素エリアを考え、注目画素をその３×３画素エリアの中央の画素としたとき、注目画素の輝度値Ｙｍと上記９画素の輝度平均値Ｙｎとの差が基準値Ｙｄ以上であるときに注目画素のＲ値、Ｇ値、Ｂ値をそれぞれ上記９画素の中央値Ｒｃ、Ｇｃ、Ｂｃで置き換える処理を行う際に、基準値Ｙｄを、Ｃ−ＭＯＳイメージセンサの昇温につれて小さくする。したがって、昇温時には、上記差がＹｄ以上という条件を満たしやすくなる。そのため、上記のような置き換え処理に該当する画素が多くなり、多くの画素が置き換え処理される。これは、昇温するほどノイズが高くなり白点など輝度が高すぎる画素が増えるという現象に対して、置き換え処理により輝度が下げられる画素も増えるということである。それゆえ、上記の構成による効果に加えて、昇温により白点などの画像のノイズが増えても、それをより容易かついっそう効果的に抑制することができる。
【００３０】
また、本発明の画像処理装置は、上記構成において、上記画像補正手段が、計測した上記Ｃ−ＭＯＳイメージセンサの温度が前回の計測時と同一であるか否かを調べ、今回計測した上記Ｃ−ＭＯＳイメージセンサの温度が前回の計測時と同一であるときは、上記基準値Ｙｄとして、前回の計測時の値を用いることを特徴としている。
【００３１】
上記の構成により、今回計測した上記Ｃ−ＭＯＳイメージセンサの温度が、前回の計測時と同一であるときは、上記基準値Ｙｄとして、前回の計測時の値を用いる。したがって、その分処理を簡略化することができる。それゆえ、上記の構成による効果に加えて、より容易に、Ｃ−ＭＯＳイメージセンサの温度に応じて適切な画像処理を行うことができる。
【００３２】
【発明の実施の形態】
〔実施の形態１〕
本発明の実施の一形態について図１ないし図６に基づいて説明すれば、以下の通りである。
【００３３】
図１は、本実施の形態に係る画像処理装置としてのデジタルカメラのブロック図である。１は、光電変換を行うＣ−ＭＯＳイメージセンサである。２は、温度センサ（温度計測手段）であり、Ｃ−ＭＯＳイメージセンサ１のチップ温度を測定する。Ｃ−ＭＯＳイメージセンサ１は、Ｃ−ＭＯＳイメージセンサの画素を構成するフォトダイオードの蓄積電荷をＭＯＳトランジスタでスイッチングして読み出すため、理想的にはフォトダイオードの光電変換による電荷のみがスイッチング操作により外部に読み出されればよいが、フォトダイオードおよびＭＯＳトランジスタの製造バラツキによりフォトダイオードで光電変換以外の電荷が発生し、それが本来の撮像画像による電荷にプラスされ、周囲画素よりも明るい画素、すなわち輝度の高い白い点として見える。これは白点ノイズと呼ばれている。この白点ノイズレベルは温度上昇に伴い増加する特性がある。
【００３４】
上記光電変換以外の電荷が多い画素がイメージセンサ内で多い場合は、画像品質を劣化させる要因となる。また、このノイズレベルは、温度が上昇するのに伴い増加する。たとえば、常温でＳ／Ｎ（信号対雑音比）が良好なＣ−ＭＯＳイメージセンサも、周囲温度が上昇し、Ｃ−ＭＯＳイメージセンサチップの温度も上昇すると、ノイズが目立つようになる。その結果、画像全体に白く浮き上がり、かつ、特にノイズレベルの高い画素は白点として現れ、Ｓ／Ｎの著しい劣化、コントラストの低下、ダイナミックレンジが狭くなる等の影響が出る。
【００３５】
３は、カメラシステム全体の制御を行う制御マイコン（マイクロコンピュータ）である。本実施の形態においては、制御マイコン３は、温度センサ２からＣ−ＭＯＳイメージセンサ１のチップ温度の情報が入力されるようになっている。そして、制御マイコン３は、信号処理ＤＳＰ６と協調して、入力された映像信号の輝度平均値（Ｙ）、色信号の信号平均値（Ｉ、Ｑ）、および、温度センサ出力値により、画像の明るさ、色バランス（ホワイトバランス）、画像の高品質化に寄与する階調補正曲線、エッジ強調パラメータ、Ａ／Ｄ変換器５の入力オフセット電圧等をダイナミックに制御する。特に、本発明に関わる、温度センサ２から入力される温度データについては、カメラの動作保証温度範囲を３つに分割したそれぞれの温度範囲のどこに属するかを判定し、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）１１から温度範囲に対応した設定パラメータを読み出し、Ａ／Ｄ変換器５の入力オフセット電圧、信号処理ＤＳＰ６の階調補正曲線、エッジ強調パラメータ等を設定する。なお、ＥＥＰＲＯＭ１１の設定値は、パーソナルコンピュータあるいはＰＤＡ（Personal Digital Assistant）といったホスト装置から外部コネクタ１２、ホストインタフェース１１および制御マイコン３を介して書き換えが可能であり、使用するＣ−ＭＯＳイメージセンサに応じて変更（チューニング）することが可能である。
【００３６】
温度センサ２による温度測定としては、例えばサーミスタを用い、これを制御マイコンに接続することで行うことができる。サーミスタは、温度によって電気抵抗が変化する素子である。このため、マイコン内蔵の定電流回路により一定の電流をサーミスタに流し、サーミスタ両端の端子電圧をマイコン内蔵のＡ／Ｄ変換器でＡ／Ｄ変換してデジタル値に変換することにより、温度データを得ることが可能である。
【００３７】
４は、光電変換されたアナログの映像信号を増幅するＡＧＣ（Auto Gain Control ）アンプである。ＡＧＣアンプ４は、制御マイコン３により、画面上で適切な明るさとなるようにそのゲインをコントロールされる。ＡＧＣアンプ４のゲインの最大値は、制御マイコン３により、温度が低いときはデフォルト値まで上昇し、温度が高い場合は小さくなるように制御される。
【００３８】
５は、ＡＧＣアンプ４で増幅されたアナログの映像信号をデジタル値に変換するＡ／Ｄ変換器である。このＡ／Ｄ変換器５の入力部分には、入力映像信号に正の直流バイアス電圧を加え、デジタル出力を全体的に高めにしたり、逆に負の直流バイアス電圧（後述の−Ａb 、−Ａc ）を与えアナログ映像信号の振幅の低い部分をクリップしたりできる。この直流バイアス値も、制御マイコン３から変更可能である。
【００３９】
６は、カメラの信号処理ＤＳＰ（Digital Signal Processor、デジタル信号処理装置）であり、ＯＢオフセットクランプ、画素補間処理部、ＹＩＱ値積算処理部、ホワイトバランスアンプとからなる画像補正処理部６ａを有している。制御マイコン３および信号処理ＤＳＰ６によって画像補正手段が構成されている。ＯＢオフセットクランプは、黒レベルの再生を行う。画素補間処理部は、各画素ごとにＲＧＢの３色を再現する画素補間処理を行う。ＹＩＱ値積算処理部は、自動露光制御や自動色補整（自動ホワイトバランス制御）等の判断データとなる輝度（Ｙ）および色信号（Ｉ、Ｑ）値積算処理を行う。ホワイトバランスアンプは、前記ＹＩＱ積算値に基づきＲＢゲインを制御するホワイトバランス処理等を行う。信号処理ＤＳＰ６は、これら画像補正処理部６ａの動作を制御マイコン３と連動して行っている。
【００４０】
また、信号処理ＤＳＰ６は、階調補正処理部６ｂおよびエッジ強調処理部６ｃをも有している。階調補正処理部６ｂは、画像の高品位化処理として、画像の階調を補正し、明るくコントラストのよい画像を作り出すブロックである。たとえば入力信号に対し、中間調を増幅するような補正曲線を与えることにより、画像の画素値分布の最大値と最小値は変化させずに全体的に明るい出力画像を得ることが可能である。また、入力Ｘに対し、出力Ｙ＝−Ｘとなるような負の直線特性を与えることにより階調反転を実現することも可能である。
【００４１】
エッジ強調処理部６ｃは、同じく画像の高品位化処理として、画像のくっきり感を強調するためのブロックである。
【００４２】
信号処理ＤＳＰ６から出力された画像信号は、メモリコントローラ７を介して、一旦フレームメモリ８に格納される。
【００４３】
メモリコントローラ７は、エッジ強調処理された完成されたデジタル画像データをフレームメモリ８へ格納することや、外部コネクタ１０に接続されたパーソナルコンピュータやＰＤＡといったホスト装置からホストインタフェース９を介して与えられる画像読み出しコマンドにより、画像データを読み出してホストインタフェース９に転送する等の動作を行う。メモリコントローラ７は、外部コネクタ１０に接続されたパーソナルコンピュータやＰＤＡといったホスト装置がホストインタフェース９を介して読み出し操作を行うたびに、フレームメモリ８から１画素ずつＲＧＢ値をホストインタフェース９に転送する。
【００４４】
ホストインタフェース９は、上述したように、ホスト装置からの要求に応じて、メモリコントローラ７と協調して画像データをホスト装置へ転送する。また、ホスト装置から、制御マイコン３用のプログラムを制御マイコン３に転送し、制御マイコン３がそれをＥＥＰＲＯＭ１１に書き込む際にも利用される。この制御プログラム転送機能は、主に製品開発時のマイコン制御プログラム開発、製造工程において出荷用の制御プログラムの書き込み、製品出荷後の制御マイコンプログラムのバージョンアップ等に利用されている。また、ホスト装置から転送する制御プログラムは、ホスト装置が持つ外部記憶装置のタイプに応じた記録媒体に収納されている。例えば、屋外での撮影テストを行いながらの制御プログラム開発では、ホスト装置には可搬型のコンピュータが利用され、記録媒体は、例えば、ＰＣＭＣＩＡ（Personal Computer Memory Card International Association）のTypeIIのＡＴＡ（Advanced Technology Attachment）カードや、あるいは３．５インチ等のサイズの磁気ディスク等とすることができる。
【００４５】
制御マイコン３による温度センサの出力値に応じた、Ａ／Ｄ変換器５、階調補正処理部６ｂ、エッジ強調処理部６ｃの各ブロックの制御の具体例について説明する。
【００４６】
制御マイコン３は、図２に示す表に従って、各ブロックの設定値を決定する。図２では、本デジタルカメラのシステム全体の動作温度範囲である０℃〜４０℃を３つの温度範囲に分割し、そのおのおのについて設定値が定義されている。
【００４７】
Ｃ−ＭＯＳイメージセンサ１のチップ温度Ｔａが上昇し、ノイズレベルが増大すると、出力画像は全体的に白く浮き上がる。したがって、制御マイコン３が、温度に応じてＡ／Ｄ変換器５の入力部分の直流バイアス電圧（入力オフセット電圧）を切り換えて、画素値の低い部分がＡ／Ｄ変換器５の入力最低電圧（後述のＡｂ、Ａｃ）よりも低くなるようにすれば、ノイズがクリップされ、ノイズの目立たない出力画像を得ることが可能である。ここで、入力オフセット電圧とは、Ａ／Ｄ変換器５にＣ−ＭＯＳイメージセンサ１からの画素アナログ出力を入力する際に、この画素アナログ出力に加える電圧である。また、後述するエッジ強調パラメータは、以下の式
hvparam＿a ＞ hvparam＿b ＞ hvparam＿c
nnparam＿a ＞ nnparam＿b ＞ nnparam＿c
で示される関係を有している。
【００４８】
図２の３つの温度範囲に対応したＡ／Ｄ変換器５の入出力特性を図３に示す。すなわち、図３は、Ａ／Ｄ変換器５の入力と出力との関係（入出力特性）を示しており、温度上昇時に、Ｃ−ＭＯＳイメージセンサ１からＡ／Ｄ変換器５に入力される画素アナログ出力に加える電圧すなわち入力オフセット電圧を下げることにより、入出力特性がａ→ｂ→ｃのように切り替わっていくことを表している。入力アナログレベルをＸ、Ａ／Ｄ変換後のデジタルレベルをＹとし、ある定数をＣａ（＞０）とすると、図３の直線はそれぞれ、式（１）に示す数式
Ｙ＝Ｘ−Ｃａ （Ｃａ＜Ｘ≦Ｘmax ） （１）
Ｙ＝０ （０≦Ｘ≦Ｃａ）
で表される。そして、具体的には、図３では、この定数Ｃａとして、２５℃〜３５℃の範囲、３５℃以上あるいは３５℃より高温の範囲において、それぞれＡｂ、Ａｃ（ここではいずれも正）を用いる。そのため、０℃〜２５℃のＡ／Ｄ変換曲線（直線）ａ、２５℃〜３５℃のＡ／Ｄ変換曲線ｂ、および３５℃以上あるいは３５℃より高温の場合のＡ／Ｄ変換曲線ｃはそれぞれ、
Ｙ＝Ｘ （０≦Ｘ≦Ｘmax ） （Ａ／Ｄ変換曲線ａ） （１ａ）
Ｙ＝Ｘ−Ａｂ （Ａｂ＜Ｘ≦Ｘmax ） （Ａ／Ｄ変換曲線ｂ） （１ｂ）
Ｙ＝０ （０≦Ｘ≦Ａｂ）
Ｙ＝Ｘ−Ａｃ （Ａｃ＜Ｘ≦Ｘmax ） （Ａ／Ｄ変換曲線ｃ） （１ｃ）
Ｙ＝０ （０≦Ｘ≦Ａｃ）
で表される１つの直線、または２つ以上の直線の組み合わせからなる線である。なお、図中、Ｙsat はＹの最大値である。Ａｂ、Ａｃの値は、画像処理装置の製造時や制御マイコン３のプログラムの変更時に任意に設定できる。
【００４９】
図３において、温度範囲が０℃〜２５℃では、ノイズレベルがさほど大きくないため、Ａ／Ｄ変換曲線ａに従い、入力されたアナログ画像信号をそのままデジタルに変換している。Ｃ−ＭＯＳイメージセンサ１のチップ温度が上昇し、ノイズによる白浮きが目立つようになるに従い、Ａ／Ｄ変換曲線ｂ、ｃと切り換え、それぞれＡｂ、Ａｃ以下の入力をクリップする。入力をクリップすることにより、画像全体に白く浮き上がる現象が抑えられる。また、ノイズレベルの大きく白い点として見える画素も、入力時点でＡｂあるいはＡｃだけ画素値が下がるため、後段の階調補正曲線による中間調の増幅特性との相乗効果でＳ／Ｎがより大きく改善される効果がある。
【００５０】
図４に、図２に示す各温度範囲において設定される階調補正特性を示す。入力画素値をＸ、階調補正後の出力画素値をＹとすると、温度範囲が０℃〜２５℃では、ノイズレベルがさほど大きくないため、階調補正処理部６ｂヘの入力の最小値から最大値までを、ゆるやかな中間調増幅特性を持つ曲線ａに従って階調変換を行っている。すなわち、曲線ａや、曲線ｂ、ｃの曲線部（高画素値領域）はいずれも、上に凸の形状で単調増加の曲線である。中間調を明るくすることにより、全体的に明るくコントラスト良い画像を得ることが可能である。
【００５１】
Ｃ−ＭＯＳイメージセンサ１のチップ温度が上昇し、ノイズによる白浮きが目立つようになるに従い、階調補正曲線をｂ、ｃに切り換える。そして、それぞれＧｂ、Ｇｃ以下の入力（低画素値領域）に対しては１以下の増幅率を与え、ノイズが目立つ入力を減衰させる。入力がＧｂ、あるいは、Ｇｃ以上となった場合（高画素値領域）は、曲線ａ同様、中間調増幅特性を与える。この例ではＡ／Ｄ変換器５の出力ビット数は８ビットであり、入力値Ｘは０から２５５までの値を取りうる。すなわち、ある定数をＣｇ（＞０）とすれば
０≦Ｘ≦Ｃｇのとき
Ｙ＝ｐ・Ｘ
Ｃｇ≦Ｘ≦２５５のとき
Ｙ＝２５５×｛（Ｘ−Ｃｇ）／（２５５−Ｃｇ）｝r ＋ｐ・Ｃｇ （２）
である。ただし０＜ｐ＜１、ｒ＜１である。そして、具体的には、図４では、この定数ＣｇとしてＧｂ、Ｇｃ（ここではいずれも正）の２つを用いている。そして、０℃〜２５℃の階調補正曲線ａは、
０≦Ｘ≦２５５のとき
Ｙ＝２５５×（Ｘ／２５５） ｒ （２ａ）
であり、２５℃〜３５℃の階調補正曲線ｂは、
０≦Ｘ≦Ｇｂのとき
Ｙ＝ｐ・Ｘ
Ｇｂ≦Ｘ≦２５５のとき
Ｙ＝２５５×｛（Ｘ−Ｇｂ）／（２５５−Ｇｂ）｝r ＋ｐ・Ｇｂ （２ｂ）
であり、３５℃以上あるいは３５℃より高温の場合の階調補正曲線ｃは、
０≦Ｘ≦Ｇｃのとき
Ｙ＝ｐ・Ｘ
Ｇｃ≦Ｘ≦２５５のとき
Ｙ＝２５５×｛（Ｘ−Ｇｃ）／（２５５−Ｇｃ）｝r ＋ｐ・Ｇｃ （２ｃ）
で表される。
【００５２】
Ａ／Ｄ変換器５の出力ビット数がｎビットであれば、上記式中の２５５が２n-1 に替わる。また、Ｇｂ、Ｇｃ、ｐ、ｒの値は、画像処理装置の製造時や制御マイコン３のプログラムの変更時に任意に設定できる。
【００５３】
この不連続な階調変換を行うことにより、温度上昇した場合でも、ノイズを抑え、しかも、暗いところは暗く、中間調を明るく、また、もともと明るい部分は明るく再現することが可能であり、コントラストの良い出力画像を得ることが可能である。
【００５４】
さらに、本実施の形態においては、エッジ強調処理部６ｃのエッジ強調パラメータを、温度センサ２の出力に応じて切り換えている。エッジ強調は、図５に示す３×３の画素（ａないしｉ）について次の演算により行っている。これは一般にラプラシアンフィルタと呼ばれている微分フィルタを構成している。いま、図５の３×３画素の中央画素ｅを注目画素としたとき、微分フィルタによる出力画素値をＯｕｔとすれば、
Ｏｕｔ＝ｅ＋hvparam ｛ｅ−（ｂ＋ｄ＋ｆ＋ｈ）／４｝
＋nnparam ｛ｅ−（ａ＋ｃ＋ｇ＋ｉ）／４｝ （３）
である。なお、ａないしｉはここでは各画素の画素値（電圧値のデジタルレベル）である。また、式（３）において、第２項は水平方向および垂直方向のエッジ成分を表しており、hvparam はその増幅係数である。また、第３項は斜め方向のエッジ成分であり、nnparam はその増幅係数である。
【００５５】
Ｃ−ＭＯＳイメージセンサ１の温度が上昇した場合は、制御マイコン３はhvparam およびnnparam を小さくし、画素の白点ノイズを目立たなくしている。すなわち、hvparam およびnnparam は実際には、それぞれ、図２に示す通り、Ｃ−ＭＯＳイメージセンサの温度Ｔａが０℃〜２５℃では hvparam＿a 、 nnparam＿aであり、Ｔａが２５℃〜３５℃では hvparam＿b 、 nnparam＿b であり、Ｔａが３５℃〜では hvparam＿c 、 nnparam＿c であり、すでに述べたように
hvparam＿a ＞ hvparam＿b ＞ hvparam＿c
nnparam＿a ＞ nnparam＿b ＞ nnparam＿c
で示される関係を有している。
【００５６】
なお、図３の処理と図４の処理とは、いずれか一方を行ってもよく、また、両方を行えば、白点ノイズを目立たなくするうえでより好ましい。
【００５７】
このように、本実施の形態においては、Ｃ−ＭＯＳイメージセンサ１の、大きさがその温度に依存するノイズが発生しない場合の、最終的に表示される時点の画素の画素値をＤidとするとき、まず、Ｃ−ＭＯＳイメージセンサ１の温度を温度センサ２にて実際に測る。そして、得られたＣ−ＭＯＳイメージセンサ１の温度情報に基づき、画素の画像データを、図２ないし図４等を用いて説明したように処理する。それによって、最終的に表示される時点のその画素の画素値が上記Ｄidに近づくような補正を行っている。したがって、Ｃ−ＭＯＳイメージセンサ１が昇温して画像の白点ノイズ等のノイズが増大するような状況でも、そのようなノイズを効果的に軽減することができる。
【００５８】
以上の制御マイコン３の処理は、制御マイコン３に組み込まれたソフトウエアによって実現されている。このソフトウェアによる動作について、図６を用いて説明する。
【００５９】
図６は、制御マイコンの動作を表している。ステップ１０１（以下ステップをＳと略記する。）では、制御マイコン３が、制御マイコン３に直結されたＥＥＰＲＯＭ１１から制御プログラムを読み出し、マイコン内ＲＡＭへ読み込んでいる。
【００６０】
１秒３０枚のフレームレートの場合は、Ｓ１０２以下の処理が１秒につき３０回繰り返される。Ｓ１０２では、ホワイトバランス、露光制御のため、１フレームの輝度（Ｙ）、色信号（Ｉ信号およびＱ信号）の積算値を信号処理ＤＳＰ６より読み出し、その画素平均値を計算する。
【００６１】
Ｓ１０３では、Ｙ値により露光制御を行う。具体的には電子シャッターおよびＡＧＣアンプ４のゲインの制御を行い、被写体が暗くなれば電子シャッターによる露光時間を長く制御し、電子シャッターの最長露光時間を越えても目標の明るさが得られない場合はＡＧＣアンプ４の増幅率を上げる。逆に、被写体が明るくなった場合は、ＡＧＣアンプ４の増幅率を下げ、電子シャッターによる露光時間が短くなるように制御する。また、Ｓ１０４では、自動ホワイトバランス処理を行う。
【００６２】
一方、制御マイコン３は、処理したフレーム数をカウントしており（Ｓ１０５）、Ｓ１０６で規定のカウント値まで達したら、Ｓ１０７にて温度センサ２からＣ−ＭＯＳイメージセンサ１の温度情報を取得し、Ｓ１０８にて、図２の温度範囲のどの範囲に入るかを判定し、Ｓ１０９で、上記入力オフセット電圧（以下、Ａ／Ｄオフセットと略称する）、階調補正曲線、エッジ強調パラメータ等の設定を行う。これは、温度の変化はフレームレートに比べると非常に緩やかであり、毎フレームに温度センサ出力によって制御することは不要だからである。
【００６３】
温度センサ２の出力値による上記Ａ／Ｄオフセット、階調補正曲線、エッジ強調パラメータ等の設定終了後、フレームカウンタを０にリセットし（Ｓ１１０）、次フレームの制御に移行する。
【００６４】
本マイコンプログラムは、制御マイコン３内のＲＯＭに格納するものであってもよいし、ホストインタフェース９を介して、パーソナルコンピュータやＰＤＡといったホスト装置から電源投入時に制御マイコン３にロードされるものであってもよい。後者の場合は、後々のソフトウェアのバージョンアップがしやすいメリットがある。本実施の形態では、制御マイコン３内にＳ−ＲＡＭ（static random access memory ）を内蔵しており、電源投入時にホスト装置から制御プログラムをロードする方式を採用している。
【００６５】
〔実施の形態２〕
本発明の他の実施の形態について図７ないし図１４に基づいて説明すれば、以下の通りである。なお、説明の便宜上、前記の実施の形態の図面に示した部材と同一の機能を有する部材には、同一の符号を付記してその説明を省略する。
【００６６】
図７に示すように、本実施の形態に係るデジタルカメラは、実施の形態１とほぼ同様の構成を有している。
【００６７】
本実施の形態においては、制御マイコン３は、実施の形態１におけるＥＥＰＲＯＭ１１（図１参照）の機能を、制御マイコン３内部に備えている。あるいは、実施の形態１同様にＥＥＰＲＯＭ１１を備えるようにしてもよい。また、ホストインタフェース９は内部に画像読み出しレジスタ（ＲＧＢレジスタ）９ａ（温度情報記憶手段）を備えており、制御マイコン３は、温度センサ２から入力される温度データを、この画像読み出しレジスタ９ａに書き込む機能を有している。
【００６８】
メモリコントローラ７は、外部コネクタ１０に接続されたパーソナルコンピュータやＰＤＡといったホスト装置がホストインタフェース９を介して画像読み出しレジスタ９ａに対し読み出し操作を行うたびに、フレームメモリ８から１画素ずつ、ＲＧＢ値をホストインタフェース９内の画像読み出しレジスタ９ａに転送するようになっている。
【００６９】
ホストインタフェース９内の画像読み出しレジスタ９ａは、図８に示すように、８ビット幅のレジスタであり、アドレス順に、画像サイズの横幅Ｗx 、画像サイズの縦幅Ｗy 、温度センサ２の測定値（Ｃ−ＭＯＳイメージセンサ１のチップ温度）Ｔａ、１画素分のＲＧＢ値等を格納している。画素のＲＧＢ値は、ホスト装置からの指示により１画素分のＲＧＢ値がフレームメモリ８から読み込まれると、ホストインタフェース９はメモリコントローラ７と協調して、次の画素のＲＧＢ値をフレームメモリ８から読み出して画像読み出しレジスタ９ａに格納するようになっている。したがって、ホスト装置は１枚の画像の画素数回だけ画像読み出しレジスタ９ａを繰り返し読むことにより全画素のＲＧＢ値を順次読み込むことができる。
【００７０】
図１０に示すように、本実施の形態におけるデジタルカメラとしてのＣ−ＭＯＳデジタルカメラ６０には、Ｃ−ＭＯＳイメージセンサ６２（Ｃ−ＭＯＳイメージセンサ１に相当する）が格納されており、カード状の部分には、ホスト装置としての画像処理装置５０とインタフェースするための外部コネクタ６１（外部コネクタ１０に相当する）が搭載されている。
【００７１】
また、画像処理装置５０には、各種操作を行うためのキー５２・５３、画像を表示する表示部５１、上記Ｃ−ＭＯＳデジタルカメラ６０等の周辺機器とインタフェースするためのインタフェースコネクタ５４が搭載されている。
【００７２】
図９は、本発明に関わるホスト装置としての画像処理装置の構成を示している。ユーザ入力装置２０３は、図１０においてはキー５２および５３であり、マスクＲＯＭ２０６により提供されるホスト装置の基本的な機能の操作や、コマンドの選択等を行う。表示装置２０２は、ユーザのキー操作による応答や、処理結果の画像の表示等を行う。２０４は画像処理用のフレームメモリであり、２０５は画像処理に用いるワークメモリとしての演算用メモリである。２０７はユーザデータを記憶するユーザデータ記憶メモリである。本実施の形態におけるホスト装置は、デジタルカメラの画像を表示する機能の他に、住所録や、電話帳、個人データベース、スケジュール管理、電子メール等の個人情報管理機能を搭載しており、ユーザのデータを多く記録できるようになっている。
【００７３】
２０８は、デジタルカメラやその他の周辺機器のデータフォーマットを変換する外部インタフェースである。２１０のインタフェースコネクタには、デジタルカメラをはじめ、数種類の周辺機器が接続される。図１０においては、このインタフェースコネクタ２１０は画像処理装置５０の内部に搭載されている（インタフェースコネクタ５４）。図１０に示すカード状のＣ−ＭＯＳデジタルカメラ６０やその他のカード型周辺機器を、画像処理装置５０の、図中、右側面に設けられたスリットに挿入すると、周辺機器側の外部コネクタ６１とホスト側のインタフェースコネクタ５４とが画像処理装置５０の内部で接続される。
【００７４】
本実施の形態では、図１１に示すフラッシュメモリカード型のメモリ媒体内に画像処理プログラムを格納しており、画像処理装置５０にこのカード型のメモリ媒体を外部記憶装置２０９として差し込み、ＣＰＵ２０１がその画像処理プログラムを読み出して実行することにより画像処理装置を構成している。
【００７５】
次に、図１２、図１３、および図１４のフローチャートを用いて、上記画像処理プログラムによる画像処理について説明する。
【００７６】
ステップ２０１（以下ステップをＳと略記する。）では、ホストインタフェース９内の画像読み出しレジスタ９ａの図８に示すアドレス００〜０３から画像サイズを読み出す。これにより、後段ステップで、画像サイズ分の画素データ読み出し回数、および、フィルタ処理の繰り返し回数を決定する。Ｓ２０２では、同様にして温度センサ２の計測値Ｔａを読み出す。このＴａは、後段でフィルタ処理を行うか行わないかを決定するしきい値（ここでは、後述するＹｄ）を計算するためのパラメータとなる。
【００７７】
Ｓ２０３およびＳ２０４は、１画面分の画素値を読み出し、ホスト装置内のフレームメモリ２０４（図９参照）に読み込むプロセスである。図中Ａで示すこのＳ２０３およびＳ２０４の処理は、画像サイズ分繰り返す。
【００７８】
Ｓ２０５では、前回この図１４の処理を行ったときの温度センサ計測値と、Ｓ２０２で読み出した最新の温度センサ計測値とを比較し、前回と同一であれば、Ｓ２０６をスキップし、後段でフィルタ処理を行うか行わないかを決定するしきい値（Ｙｄ）の更新を行わない。
【００７９】
Ｓ２０６では、Ｃ−ＭＯＳイメージセンサ１のチップ温度Ｔａにより、ノイズ除去フィルタ処理を行うか行わないかを決定するしきい値Ｙｄを計算している。その計算には以下の式（４）を用いている。すなわち、
Ｙｄ＝−ｋ×Ｔａ＋Ｙ0 （４）
である。ここで、Ｙｄは、後段のノイズ除去フィルタ処理を行うか行わないかを決定するしきい値である。また、ｋは、使用するＣ−ＭＯＳイメージセンサの温度対Ｓ／Ｎの特性により決定される比例定数（ここでは正）である。ＴａはＣ−ＭＯＳイメージセンサ１のチップ温度であり、Ｙ0 は、温度Ｔａが０℃の場合のしきい値である。式（４）を図示すると図１２のようになる。図１２に示すように、Ｃ−ＭＯＳイメージセンサ１のチップ温度が低い場合は、ノイズ除去フィルタ処理を行うか行わないかを決定するしきい値Ｙｄを大きくすることで、ノイズ除去フィルタ処理を行う確率を下げる。一方、温度が高くなるにつれてこのしきい値Ｙｄを下げ、フィルタ処理を行う確率を高くする。これは、前述したようにＣ−ＭＯＳイメージセンサ１は温度が上昇すると発生するノイズレベルも上昇し、また白点ノイズとして見える画素の数も増加するので、このようなＣ−ＭＯＳイメージセンサに対し、より多くの白点ノイズを後段のノイズ除去フィルタの処理対象とするためである。
【００８０】
なお、Ｓ２０５で、Ｃ−ＭＯＳイメージセンサの温度計測値Ｔａが前回の画像読み出し時の値と同一であれば、式（４）の計算によるＹｄの更新は行わない。そのため、前回の画像読み出し時と同一のＹｄが、今回の次段のノイズ除去フィルタ処理で使用される。
【００８１】
Ｓ２０７からＳ２１３までが、本実施の形態で用いているノイズ除去フィルタ処理である。図中Ｂで示すこのＳ２０７ないしＳ２１３の処理は、画像サイズ分繰り返す。Ｓ２０７では、図１３に示すように、元画像から３×３画素の小エリアを切り出している。このとき、３×３の画素は、注目画素ｅが画面上で中央の画素となるように選ぶ。Ｓ２０８では、注目画素を含む３×３エリアに含まれる９画素のＲＧＢ値それぞれを昇順または降順に並べ替え、その中央の値（メディアン）を検出する。すなわち昇順、または、降順に並べ替えたときの５番目の値を求める。この値をそれぞれＲｃ、Ｇｃ、Ｂｃとする。また注目画素のＲＧＢ値をＲｅ、Ｇｅ、Ｂｅとする。
【００８２】
Ｓ２０９では、３×３エリアの輝度平均値Ｙｎを求めている。また、Ｓ２１０では、注目画素ｅの輝度Ｙｍを求めている。なお、Ｓ２０９およびＳ２１０において、これら輝度平均値（ＹｎやＹｍ）を求めるうえで、その元となる輝度値Ｙは次の式（５）によって求めている。すなわち、
Ｙ＝０．３Ｒ＋０．５９Ｇ＋０．１１Ｂ （５）
である。Ｒ、Ｇ、Ｂはそれぞれ赤、緑、青の画素値である。
【００８３】
Ｓ２１１では、Ｓ２０６で求めたしきい値Ｙｄを用いて、ノイズ除去フィルタ処理を行うか行わないかを判定している。注目画素の輝度値Ｙｍと９画素の輝度の平均値との差（絶対値）が上記しきい値Ｙｄよりも大きい場合は、注目画素が比較的目立つ白点であると判断して、Ｓ２１２で示すノイズ除去フィルタ処理を行い、注目画素の輝度値と９画素の輝度の平均値との差がしきい値Ｙｄと等しいかまたは小さい場合は、注目画素は白点ではないと判断し、Ｓ２１２のノイズ除去フィルタ処理を行わない。
【００８４】
Ｓ２１２でのノイズ除去フィルタ処理の方法は、一般にメディアンフィルタと呼ばれる方法であり、注目画素を含む近傍画素の平均値を求めるローパスフィルタ処理と比べて、解像度が落ちない特長がある。本実施の形態では、Ｃ−ＭＯＳイメージセンサ１のチップ温度により、上記メディアンフィルタ処理を行うか行わないかを決定する選択的手法を取り入れている。Ｓ２１１で、注目画素が白点であると判断された場合は、Ｒｅ＝Ｒｃ、Ｇｅ＝Ｇｃ、Ｂｅ＝Ｂｃとして、注目画素のＲＧＢ値を９画素の中央値でそれぞれ置き換える。Ｓ２１１で注目画素が白点ではないと判断された場合は、Ｓ２１２をスキップする。
【００８５】
Ｓ２１３では、注目画素を１画素シフトする。以上Ｓ２０７からＳ２１３までを画素数分だけ繰り返すことにより、画像の全画素についてノイズ除去フィルタ処理が実施されることになる。Ｓ２１４では、ノイズ除去フィルタ処理が施されて白点ノイズが除去された処理後の画像を、画像記録メディアに記録する。
【００８６】
なお、本発明に係るデジタルカメラは、以下のような構成とすることができ、これにより、Ｃ−ＭＯＳイメージセンサの温度に応じて、Ｃ−ＭＯＳイメージセンサの出力を信号処理によってノイズが目立たなくなるように補正することができる。
【００８７】
すなわち、本発明に係るデジタルカメラは、光電変換を行うＣ−ＭＯＳエリアイメージセンサと、前記Ｃ−ＭＯＳイメージセンサのチップ温度を測定する温度センサと、前記温度センサの出力を入力とし、露光調整、ホワイトバランス調整、ノイズレベル補正を行う制御マイコンと、画像の高品質化ブロックとして、階調補正、エッジ強調処理ブロックとを具備するように構成してもよい。
【００８８】
この構成により、Ｃ−ＭＯＳイメージセンサの温度を検出する温度センサをＣ−ＭＯＳイメージセンサに設けており、前記温度センサの出力は制御マイコンに入力されている。
【００８９】
また、本発明に係るデジタルカメラは、前記ノイズレベル補正をＣ−ＭＯＳイメージセンサ出力をアナログ増幅するＡＧＣアンプの制御最大値の制限、および、増幅した後アナログデジタル変換を行うＡ／Ｄ変換器の入力オフセット電圧調節にて行うように構成してもよい。
【００９０】
この構成により、Ｃ−ＭＯＳイメージセンサの温度を検出する温度センサをＣ−ＭＯＳイメージセンサに設けており、前記温度センサの出力は制御マイコンに入力されており、制御マイコンからＣ−ＭＯＳイメージセンサ出力をアナログ的に増幅するＡＧＣアンプの制御最大値の制限を行い、Ｃ−ＭＯＳイメージセンサ内で発生したノイズを不用意に増幅し目立つことを防止するとともに、増幅した後アナログデジタル変換を行うＡ／Ｄ変換器の入力オフセット電圧を調節し、温度が高いときは入力オフセット電圧を下げることによりノイズレベルをある程度クリッピングすることを可能としている。ここで、入力オフセット電圧とは、Ａ／Ｄ変換器にＣ−ＭＯＳイメージセンサからの画素アナログ出力を入力する際に、この画素アナログ出力に加える電圧である。図３は、Ａ／Ｄ変換器の入力と出力との関係（入出力特性）を示しており、温度上昇時に上記画素アナログ出力に加える電圧すなわち入力オフセット電圧を下げることにより、入出力特性がａ→ｂ→ｃのように切り替わっていく。
【００９１】
それゆえ、温度上昇によって生じた画素のノイズを低減することができる。
【００９２】
また、本発明に係るデジタルカメラは、前記ノイズレベル補正を、画像高品質化ブロックの階調補正パラメータ、エッジ強調ブロックパラメータを調節することによって実現するように構成してもよい。
【００９３】
この構成により、Ｃ−ＭＯＳイメージセンサの温度を検出する温度センサをＣ−ＭＯＳイメージセンサに設けており、前記温度センサの出力は制御マイコンに入力されており、制御マイコンから画像高品質化ブロックの階調補正パラメータを制御することにより、ノイズの目立たない階調補正を行うことができる。
【００９４】
特に、温度が低いときは、入力値域の広範囲にわたり、中間調増幅型の階調補正を行い、温度が高いときは、入力画素値が低い場合は、１よりも小さい正の増幅を行い、入力画素値が高い場合は中間調協調型の階調補正を行うことにより、低い画素値に集中する白点ノイズを効果的に低減することができる。
【００９５】
また、エッジ強調ブロックパラメータを調節することにより、温度が高いときはエッジ強調を多少弱くすることを可能としている。
【００９６】
また、本発明に係るデジタルカメラは、前記制御マイコンの管理下に不揮発性メモリを有し、動作保証温度範囲を数範囲に分割し、そのおのおのの分割範囲と前記ノイズレベル補正パラメータとの対応テーブルを前記不揮発性メモリに有し、制御マイコンが、前記温度センサ出力がどの温度範囲に属するかを判定し、温度範囲に対応したノイズ補正パラメータを前記不揮発性メモリから読み出して各ブロックに設定するように構成してもよい。
【００９７】
この構成により、Ｃ−ＭＯＳイメージセンサの温度を検出する温度センサをＣ−ＭＯＳイメージセンサに設けており、前記温度センサの出力は制御マイコンに入力されている。制御マイコンは、不揮発性メモリをその管理下に有しており、不揮発性メモリは、動作保証温度範囲を数範囲に分割したとき、そのおのおの温度範囲について前記ノイズレベル補正パラメータとの対応テーブルを有している。制御マイコンは、温度センサからの温度計測結果によって、前記対応テーブルから現在の温度に対応した補正値を各ノイズレベル補正ブロックに設定することにより、複雑なパラメータ計算を行うこと無しにノイズ補正を行える。
【００９８】
また、本発明に係る記録媒体は、前記制御マイコンの管理下に不揮発性メモリを有し、動作保証温度範囲を数範囲に分割し、そのおのおのの分割範囲と前記ノイズレベル補正パラメータとの対応テーブルを前記不揮発性メモリに有し、制御マイコンが前記温度センサ出力がどの温度範囲に属するかを判定し、温度範囲に対応したノイズ補正パラメータを前記不揮発性メモリから読み出して各ブロックに設定する制御マイコンのプログラムを記録するように構成してもよい。
【００９９】
また、本発明に係るデジタルカメラは、入力画素値の値域を２分割し、値域が低い範囲については、入力に対し出力が比例定数が１よりも小さくかつ０より大きい１次式となり、値域が高い範囲に関しては、中間調増幅特性となる入出力特性をもたせるような階調補正特性を有するように構成してもよい。
【０１００】
また、本発明に係るデジタルカメラは、入力画素値の値域を２分割し、値域が低い範囲については、入力に対し出力が比例定数が１よりも小さくかつ０より大きい１次式となり、値域が高い範囲に関しては、中間調増幅特性となる入出力特性をもたせ、２分割の境界をＣ−ＭＯＳイメージセンサのチップ温度によって変更するように構成してもよい。
【０１０１】
また、本発明に係るデジタルカメラは、制御マイコンのプログラムを外部インタフェースより読み込み、制御マイコンが読み出し、書き込み可能な不揮発性メモリに書き込み、実行時に前記プログラムを制御マイコンが読み出し実行するように構成してもよい。
【０１０２】
また、本発明に係る記録媒体は、光電変換を行うＣ−ＭＯＳエリアイメージセンサと、前記Ｃ−ＭＯＳイメージセンサのチップ温度を測定する温度センサと、前記温度センサの出力を入力とし、露光調整、ホワイトバランス調整、ノイズレベル補正を行う制御マイコンと、画像の高品質化ブロックとして、階調補正、エッジ強調処理ブロックとを具備することを特長としたＣ−ＭＯＳデジタルカメラ装置において、前記ノイズレベル補正をＣ−ＭＯＳイメージセンサ出力をアナログ増幅するＡＧＣアンプの制御最大値の制限、および、増幅した後アナログデジタル変換を行うＡ／Ｄ変換器の入力オフセット電圧調節にて行うことを特長としたＣ−ＭＯＳデジタルカメラ装置の制御マイコン用プログラムを記録するように構成してもよい。
【０１０３】
また、上記制御マイコンプログラムを、任意の記録媒体に収録し、外部インタフェースを介して制御マイコンに読み込むことを可能とすることにより、プログラムの開発、改良、アップデートに迅速に対応でき、場所を問わない開発環境を提供することが可能になる。
【０１０４】
また、本発明に係るデジタルカメラおよび画像処理装置は、白点の輝度値が温度依存性を持つことに注目し、ノイズ除去処理パラメータの決定に温度情報を用いるように構成することができる。
【０１０５】
すなわち、本発明に係るデジタルカメラは、撮影した画像を、外部インタフェースを介して外部の画像処理装置に転送する機能を持つＣ−ＭＯＳイメージセンサを搭載したデジタルカメラ装置において、温度依存性の高いＣ−ＭＯＳイメージセンサの白点ノイズに着目し、Ｃ−ＭＯＳイメージセンサのチップ温度を測定する手段を有し、前記温度測定手段による測定結果を格納するレジスタと画像データを格納するレジスタを持つように構成してもよい。
【０１０６】
この構成により、Ｃ−ＭＯＳイメージセンサのチップ温度を測定する手段を有し、前記温度測定手段による測定結果を画像データとともに外部画像処理装置が読み出す手段を提供する。
【０１０７】
それゆえ、カメラより転送されたチップ温度データにより、ホスト装置側の画像処理によってノイズフィルタのフィルタリングパラメータを決定する手段を与える。
【０１０８】
また、本発明に係る画像処理装置は、上記Ｃ−ＭＯＳイメージセンサのチップ温度測定手段による測定結果を読み出し、前記測定値をパラメータとしてノイズ除去処理を行うように構成してもよい。
【０１０９】
この構成により、デジタルカメラに接続され、デジタルカメラで撮影した画像データを読み出すホスト装置が、前記Ｃ−ＭＯＳイメージセンサの温度測定値をパラメータとしてノイズ除去処理を行う。
【０１１０】
それゆえ、このデジタルカメラから読み込むことが出来る温度情報を用いて画像処理のパラメータを決定することが出来、ユーザのカット＆トライによることなく自動的に効果的なフィルタ処理を行うことを可能とする。また、温度データはデジタルカメラから読み込まれるものに限らず、ユーザが入力装置により、任意に与えるものでもよい。
【０１１１】
また、本発明に係る画像処理装置は、Ｃ−ＭＯＳイメージセンサにて光電変換により画像から得られた電気信号を各画素の画素値として処理する画像処理装置において、上記Ｃ−ＭＯＳイメージセンサの温度を測る温度計測手段と、上記温度計測手段にて測られたＣ−ＭＯＳイメージセンサの温度を記憶する温度情報記憶手段とを備えるように構成してもよい。
【０１１２】
また、本発明に係る画像処理装置は、Ｃ−ＭＯＳイメージセンサにて光電変換により画像から得られた電気信号を各画素の画素値として処理する画像処理装置において、上記Ｃ−ＭＯＳイメージセンサの、大きさが温度に依存するノイズが発生しない場合の、最終的に表示される時点の画素の画素値をＤidとするとき、上記Ｃ−ＭＯＳイメージセンサの温度に基づき、上記画素の画像データを、最終的に表示される時点のその画素の画素値が上記Ｄidに近づく方向に補正する画像補正手段を備えるように構成してもよい。
【０１１３】
また、本発明に係る画像処理装置は、Ｃ−ＭＯＳイメージセンサにて光電変換により画像から得られた電気信号を画素の画素値として処理する画像処理装置において、上記Ｃ−ＭＯＳイメージセンサの、大きさが温度に依存するノイズが発生しない場合の、最終的に表示される時点の画素の画素値をＤidとするとき、上記Ｃ−ＭＯＳイメージセンサの温度を測る温度計測手段と、上記Ｃ−ＭＯＳイメージセンサの温度に基づき、上記画素の画像データを、最終的に表示される時点のその画素の画素値が上記Ｄidに近づく方向に補正する画像補正手段とを備えるように構成してもよい。
【０１１４】
上記の構成により、Ｃ−ＭＯＳイメージセンサの、大きさが温度に依存するノイズが発生しない場合の、最終的に表示される時点の画素の画素値をＤidとするとき、Ｃ−ＭＯＳイメージセンサの温度を測り、上記Ｃ−ＭＯＳイメージセンサの温度に基づき、上記画素の画像データを、最終的に表示される時点のその画素の画素値が上記Ｄidに近づく方向に補正する。したがって、昇温して画像のノイズが増大しても、それを効果的に軽減することができる。
【０１１５】
例えば、昇温により必要量以上の電荷が多くなり輝度値が増大してしまう場合でも、画素の輝度値を小さくする方向へ画像データを補正し、それにより、輝度値の増大による白点などのノイズを軽減することができる。
【０１１６】
ここで、所定の補正手順、例えば、式による計算や、あらかじめ用意したデータテーブルの参照などの手順を用いることができる。
【０１１７】
このように、採用するＣ−ＭＯＳイメージセンサ自体の温度−ノイズ特性に委ねるのではなく、Ｃ−ＭＯＳイメージセンサを採用したデジタルカメラ等の画像処理装置システム全体で、ノイズを軽減すべく、好適に画像データを補正している。
【０１１８】
そのため、Ｃ−ＭＯＳイメージセンサの温度上昇によるノイズレベル悪化に対し、Ｃ−ＭＯＳイメージセンサ自体の特性の改良が不要である。また、Ｃ−ＭＯＳイメージセンサの個体ごとに温度特性バラツキが存在していても、これを吸収することができ、個々のＣ−ＭＯＳイメージセンサに対応できる。また、Ｃ−ＭＯＳデジタルカメラで撮影した画像が上記白点を多く含んでいた場合に、画像処理装置に転送した後で、操作者が自分で画像処理の各操作パラメータをカット＆トライにて決める必要がない。
【０１１９】
それゆえ、Ｃ−ＭＯＳイメージセンサの温度上昇によるノイズレベル悪化を容易に軽減でき、温度に関係なくノイズの少ない高品位な画像表示の可能な画像処理を行うことができる。
【０１２０】
また、本発明に係る画像処理装置は、撮影画像内の任意の横３画素、縦３画素より構成される正方形の画素エリアを考え、その注目画素を３×３画素のエリアの中央の画素としたとき、全９画素のＲ、Ｇ、Ｂの値をそれぞれ昇順、または、降順に並べ替えたときの中央のＲ、Ｇ、Ｂ値を求める手段と、前記９画素の輝度平均値を求める手段と、注目画素の輝度値と前記９画素の輝度平均値とを比較し、その差が一定値以上であったときに注目画素のＲ、Ｇ、Ｂを前記９画素のＲＧＢそれぞれの中央の値で置き換える手段を持つように構成してもよい。
【０１２１】
この構成により、撮影画像内の任意の横３画素、縦３画素より構成される正方形の画素エリアを考え、その注目画素を３×３画素の中央画素としたとき、全９画素のＲ、Ｇ、Ｂの値をそれぞれ昇順、または、降順に並べ替えたときの中央のＲ、Ｇ、Ｂ値を求める手段と、前記９画素の輝度平均値を求める手段と、注目画素の輝度値と前記９画素の輝度平均値とを比較し、その差が一定値以上であったときに注目画素のＲ、Ｇ、Ｂを前記９画素のＲＧＢそれぞれの中央値で置き換えることでノイズ除去を行う手段を持つ。
【０１２２】
それゆえ、メディアンフィルタ処理を行う画素を選択し、選択条件に適合した画素についてのみメディアンフィルタ処理を施すことにより、解像度を低下させることなく、白点のみを除去する事が可能である。
【０１２３】
また、本発明に係る画像処理装置は、注目画素の輝度値と前記９画素の輝度平均値とを比較し、その差がある基準値以上であったときに注目画素のＲ、Ｇ、Ｂを前記９画素のＲＧＢそれぞれの中央の値で置き換える際に用いる基準値の算出を、上記外部インタフェースに接続されたデジタルカメラからのＣ−ＭＯＳイメージセンサの温度情報に用いて行うように構成してもよい。
【０１２４】
この構成により、注目画素の輝度値と前記９画素の輝度平均値とを比較し、その差がある基準値以上であったときに注目画素のＲ、Ｇ、Ｂを前記９画素のＲＧＢそれぞれの中央の値で置き換える際に用いる基準値の算出を、上記外部インタフェースに接続されたデジタルカメラからのＣ−ＭＯＳイメージセンサの温度情報に基づいて行う。
【０１２５】
それゆえ、Ｃ−ＭＯＳイメージセンサの温度情報によりメディアンフィルタ処理を行う画素を選択し、選択条件に適合した画素についてのみメディアンフィルタ処理を施すことにより、温度が高いときは、レベルの小さな白点をも除去する事が可能である。
【０１２６】
また、本発明に係る画像処理装置は、注目画素の輝度値と前記９画素の輝度平均値とを比較し、その差がある基準値以上であったときに注目画素のＲ、Ｇ、Ｂを前記９画素のＲＧＢそれぞれの中央の値で置き換える際に用いる基準値の算出を、上記外部インタフェースに接続されたデジタルカメラからのＣ−ＭＯＳイメージセンサの温度情報が、前回の画像読み出し時と同一であれば行わないように構成してもよい。
【０１２７】
また、本発明に係る記録媒体は、Ｃ−ＭＯＳイメージセンサのチップ温度測定手段による測定結果を読み出し、撮影画像内の任意の横３画素、縦３画素より構成される正方形の画素エリアを考え、その注目画素を３×３画素のエリアの中央の画素としたとき、全９画素のＲ、Ｇ、Ｂの値をそれぞれ昇順、または、降順に並べ替えたときの中央のＲ、Ｇ、Ｂ値を求める手段と、前記９画素の輝度平均値を求める手段と、注目画素の輝度値と前記９画素の輝度平均値とを比較し、その差が前記Ｃ−ＭＯＳイメージセンサのチップ温度から決定されるしきい値以上であったときに注目画素のＲ、Ｇ、Ｂを前記９画素のＲＧＢそれぞれの中央の値で置き換えるノイズ除去処理を行う画像処理プログラムを記録するように構成してもよい。
【０１２８】
この構成により、上記温度情報の受信、ノイズ除去パラメータの計算、ノイズ除去処理はプログラムによっても可能であり、パーソナルコンピュータや携帯情報端末等のホスト装置用のプログラムを任意の記録媒体に収録し提供する。
【０１２９】
それゆえ、専用の画像処理装置を準備することなく、パーソナルコンピュータ、携帯情報端末等の一般的なハードウェアによって本発明の画像処理装置を構成することが可能である。
【０１３０】
【発明の効果】
以上のように、本発明の画像処理装置は、上記Ｃ−ＭＯＳイメージセンサの、温度に依存するノイズが発生しない時点の画素の画素値をＤidとするとき、上記Ｃ−ＭＯＳイメージセンサの温度を測る温度計測手段と、上記Ｃ−ＭＯＳイメージセンサの温度の情報が入力され、上記Ｃ−ＭＯＳイメージセンサの温度に基づき、上記画素の画素値が上記Ｄidに近づく方向に補正する画像補正手段とを備えた構成である。
【０１３１】
これにより、Ｃ−ＭＯＳイメージセンサが昇温して画像のノイズが増大しても、それを効果的に軽減することができる。それゆえ、Ｃ−ＭＯＳイメージセンサの温度上昇によるノイズレベル悪化を容易に軽減でき、温度に関係なくノイズの少ない高品位な画像表示の可能な画像処理を行うことができるという効果を奏する。
【０１３２】
また、本発明の画像処理装置は、上記構成において、Ａ／Ｄ変換前後の上記画素の画素値をそれぞれＸ、Ｙとし、上記Ｃ−ＭＯＳイメージセンサの温度によって定まる境界値をＣａとするとき、
Ｘ≦ＣａのときＹ＝０、
Ｃａ＜ＸのときＹ＝Ｘ−Ｃａ
を満たすようにＡ／Ｄ変換するＡ／Ｄ変換器を備え、上記画像補正手段が、上記Ｃ−ＭＯＳイメージセンサの昇温につれて上記Ｃａを増加させる構成である。
【０１３３】
これにより、画素値が高い部分では比較的高い画素値が保たれる一方、ある境界値Ｃａを境にして、低い部分では、元の画素値に関係なく変換後の画素値が０となり、明るい部分と暗い部分との差がより強調される。それゆえ、上記の構成による効果に加えて、Ｃ−ＭＯＳイメージセンサの温度上昇によるノイズゆえに白点化などのように全体的に輝度が高くなるのを防止し、画像のコントラストをより良好に、よりきめ細かく高めることができ、より高品位表示化することができるという効果を奏する。
【０１３４】
また、本発明の画像処理装置は、上記構成において、階調補正前後の上記画素の画素値をそれぞれＸ、Ｙとし、上記Ｃ−ＭＯＳイメージセンサの温度によって定まる境界値をＣｇとするとき、定数ｇ、０＜ｐ＜１を満たす定数ｐ、０＜ｒ＜１を満たす定数ｒに対し、
Ｘ≦ＣｇのときＹ＝ｐＸ、
Ｃｇ＜ＸのときＹ＝ｇ・｛（Ｘ−Ｃｇ）／（ｇ−Ｃｇ）｝r ＋ｐＣｇ
を満たすように階調補正する階調補正処理部を備え、上記画像補正手段が、上記Ｃ−ＭＯＳイメージセンサの昇温につれて上記Ｃｇを増加させる構成である。
【０１３５】
これにより、画素値が中程度の部分では、元の画素値より画素値が大きくなり、画素値が高い部分では、その大きくなる度合いが徐々に小さくなり、一方、ある境界値Ｃｇを境にして、低い部分では、元の画素値より画素値が小さくなり、明るい部分と暗い部分との差がより強調される。それゆえ、上記の構成による効果に加えて、Ｃ−ＭＯＳイメージセンサの温度上昇によるノイズゆえに白点化などのように全体的に輝度が高くなるのを防止し、画像のコントラストをより良好に、よりきめ細かく高めることができ、より高品位表示化することができるという効果を奏する。
【０１３６】
また、本発明の画像処理装置は、上記構成において、上記画像補正手段が、上記Ｃ−ＭＯＳイメージセンサの温度によって定まる基準値Ｙｄを、上記Ｃ−ＭＯＳイメージセンサの昇温につれて減少させ、１画像サイズ分の画素内の任意の横３画素、縦３画素より構成される画素エリアを考え、注目画素をその３×３画素エリアの中央の画素としたとき、全９画素のそれぞれ赤、緑、青の画素値であるＲ値、Ｇ値、Ｂ値をそれぞれ昇順または降順に並べ替えたときのＲ値、Ｇ値、Ｂ値それぞれにおける中央値Ｒｃ、Ｇｃ、Ｂｃを求め、各色において、上記９画素の輝度平均値Ｙｎを求め、上記注目画素の輝度値Ｙｍと上記９画素の輝度平均値Ｙｎとを比較し、その差が上記基準値Ｙｄ以上であるときに、上記注目画素のＲ値、Ｇ値、Ｂ値をそれぞれ上記９画素の中央値Ｒｃ、Ｇｃ、Ｂｃで置き換える構成である。
【０１３７】
これにより、昇温するほどノイズが高くなり白点など輝度が高すぎる画素が増えるという現象に対して、処理される画素も増える。それゆえ、上記の構成による効果に加えて、昇温により白点などの画像のノイズが増えても、それをより容易かついっそう効果的に抑制することができるという効果を奏する。
【０１３８】
また、本発明の画像処理装置は、上記構成において、上記画像補正手段が、計測した上記Ｃ−ＭＯＳイメージセンサの温度が前回の計測時と同一であるか否かを調べ、今回計測した上記Ｃ−ＭＯＳイメージセンサの温度が前回の計測時と同一であるときは、上記基準値Ｙｄとして、前回の計測時の値を用いる構成である。
【０１３９】
上記の構成により、今回計測した上記Ｃ−ＭＯＳイメージセンサの温度が、前回の計測時と同一であるときは、上記基準値Ｙｄとして、前回の計測時の値を用いる。したがって、その分処理を簡略化することができる。それゆえ、上記の構成による効果に加えて、より容易に、Ｃ−ＭＯＳイメージセンサの温度に応じて適切な画像処理を行うことができるという効果を奏する。
【図面の簡単な説明】
【図１】 本発明に係るＣ−ＭＯＳイメージセンサ搭載のデジタルカメラのシステム内部の一構成例を示すブロック図である。
【図２】 温度センサ出力と制御マイコンの設定値との対応テーブルを示す説明図である。
【図３】 Ａ／Ｄ変換器の入力特性を表すＡ／Ｄ変換曲線を示すグラフである。
【図４】 階調補正特性を表す階調補正曲線を示すグラフである。
【図５】 エッジ強調の演算単位となる画素を示す説明図である。
【図６】 本発明による画像読み込み処理および温度に基づく画像補正処理の手順を示すフローチャートである。
【図７】 本発明に係るＣ−ＭＯＳイメージセンサ搭載のデジタルカメラのシステム内部の他の構成例を示すブロック図である。
【図８】 外部のホスト装置がデジタルカメラから画像情報を読み出すのに用いる画像読み出しレジスタの構成を示す説明図である。
【図９】 本発明の画像処理装置の一構成例を示すブロック図である。
【図１０】 本発明のデジタルカメラおよびそれを装着するホスト装置の外観を示す平面図である。
【図１１】 本発明の画像処理装置をプログラムによって構成したときにそのプログラムを記録したカード型記録媒体の一構成例を示す平面図である。
【図１２】 Ｃ−ＭＯＳイメージセンサのチップ温度から、ノイズ除去フィルタ処理を行うか否かを決定するためのしきい値を計算する様子を示すグラフである。
【図１３】 本発明におけるノイズ除去フィルタの動作を示す説明図である。
【図１４】 本発明による画像読み込み処理および温度に基づく画像補正処理の手順を示すフローチャートである。
【符号の説明】
１ Ｃ−ＭＯＳイメージセンサ
２ 温度センサ（温度計測手段）
３ 制御マイコン（画像補正手段）
４ ＡＧＣアンプ
５ Ａ／Ｄ変換器
６ 信号処理ＤＳＰ（画像補正手段）
６ａ 画像補正処理部
６ｂ 階調補正処理部
６ｃ エッジ強調処理部
７ メモリコントローラ
８ フレームメモリ
９ ホストインタフェース
９ａ 画像読み出しレジスタ（温度情報記憶手段）
１０ 外部コネクタ
１１ ＥＥＰＲＯＭ
５０ 画像処理装置
５１ 表示部
５２ キー
５３ キー
５４ インタフェースコネクタ
６０ Ｃ−ＭＯＳデジタルカメラ
６１ 外部コネクタ
６２ Ｃ−ＭＯＳイメージセンサ
２０１ ＣＰＵ
２０２ 表示装置
２０３ ユーザ入力装置
２０４ フレームメモリ
２０５ 演算用メモリ
２０６ マスクＲＯＭ
２０７ ユーザデータ記憶メモリ
２０８ 外部インタフェース
２０９ 外部記憶装置
２１０ インタフェースコネクタ
【発明の属する技術分野】
本発明は、Ｃ−ＭＯＳイメージセンサを搭載したデジタルカメラやデジタルカメラで撮影した画像の読み出し・画像処理を行う装置等の画像処理装置および画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体に関するものである。
【０００２】
【従来の技術】
Ｃ−ＭＯＳイメージセンサは、プロセスがＣ−ＭＯＳであることから、従来のＣ−ＭＯＳＬＳＩ製造ラインで製造でき、単一電源で駆動でき、消費電力も小さい。また、固体撮像素子として従来から一般的に用いられているＣＣＤでは別のチップとして搭載する必要があったタイミングジェネレータ等をＣ−ＭＯＳイメージセンサチップ内部に集積することができるため、デジタルカメラの小型化が可能である等、ＣＣＤに比べ優れた点が多い。そのため、Ｃ−ＭＯＳイメージセンサを用いたデジタルカメラが普及し始めている。
【０００３】
そのような優れた特長の一方、Ｃ−ＭＯＳイメージセンサの画素を構成するフォトダイオードの蓄積電荷をＭＯＳトランジスタでスイッチングして読み出しているため、理想的にはフォトダイオードの光電変換による電荷のみがスイッチング操作により外部に読み出されればよいが、ＭＯＳトランジスタの製造バラツキによりフォトダイオードで光電変換以外の電荷が発生し、それが本来の撮像画像による電荷にプラスされ周囲画素よりも明るい画素として現れてしまう。これは特に周囲画素よりも明るい白い点として見えることから白点ノイズとよばれている。
【０００４】
また、同じＣ−ＭＯＳイメージセンサ内でも画素によるバラツキが大きいため、上記光電変換以外の電荷が多い画素がイメージセンサ内で多い場合は画像品質を劣化させる要因となる。すなわち、上記光電変換以外の電荷が多いことにより白点の輝度値がまちまちであり、しかも、白い点として見える画素がエリアセンサー内で多い場合は、画面一面に白点がばらまかれたような画像となり画像品質を著しく劣化させる。
【０００５】
また、このノイズレベルは温度が上昇に伴い増加する。すなわち、この白点の輝度値は、上述したように画素によるバラツキは大きいが、平均的に温度の上昇に伴い増加する。例えば、常温でＳ／Ｎが良好なＣ−ＭＯＳイメージセンサも、周囲温度が上昇し、Ｃ−ＭＯＳイメージセンサチップの温度も上昇すると、ノイズが目立つようになり、画像全体に白く浮き上がり、特にノイズレベルの高い画素は白点として現れる。すなわち、画像全体に散らばっている白点により画像全体が白く浮き上がる印象を与える。かつ、Ｓ／Ｎの著しい劣化、コントラストの低下、ダイナミックレンジが狭くなる等の影響が出る。
【０００６】
そこで、ＣＣＤの例では、特開平７−３３６６０３号公報に見られるように、温度上昇により順方向電圧降下が減少するダイオードの特性を利用してフィードバックループを構成してＣＣＤの基板電圧を制御し、ダイナミックレンジを確保する手法がある。
【０００７】
【発明が解決しようとする課題】
このようなＣ−ＭＯＳイメージセンサの温度上昇によるノイズレベル悪化に対し、Ｃ−ＭＯＳイメージセンサ自体の特性の改良が様々に試みられているが、製造プロセス上、ＣＣＤレベルまで向上するのは現状では困難である。
【０００８】
また、このようなＣ−ＭＯＳイメージセンサを採用したデジタルカメラのシステム全体についてみても、ノイズに関しては、採用するＣ−ＭＯＳイメージセンサ自体の温度−ノイズ特性に委ねられているのみであるのが現状である。
【０００９】
また、Ｃ−ＭＯＳイメージセンサは個体ごとに温度特性バラツキがあるため、上述のようにデバイス（ダイオード）の温度特性を利用して補正する方法では、このような個々のＣ−ＭＯＳイメージセンサの温度特性バラツキを吸収することは不可能であり、個々のＣ−ＭＯＳイメージセンサに対応できない。
【００１０】
また、Ｃ−ＭＯＳデジタルカメラで撮影した画像が上記白点を多く含んでいた場合に、画像処理装置に転送した後で、操作者が自分で画像処理の各操作パラメータをカット＆トライにて決めてノイズ低減処理を行う必要がある。
【００１１】
本発明は、上記問題点に鑑みなされたものであり、その目的は、Ｃ−ＭＯＳイメージセンサの温度上昇によるノイズレベル悪化を容易に軽減でき、温度に関係なくノイズの少ない高品位な画像表示が可能な画像処理装置および、画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体を提供することにある。
【００１２】
【課題を解決するための手段】
上記の課題を解決するため、本発明の画像処理装置は、上記Ｃ−ＭＯＳイメージセンサの、温度に依存するノイズが発生しない時点の画素の画素値をＤidとするとき、上記Ｃ−ＭＯＳイメージセンサの温度を測る温度計測手段と、上記Ｃ−ＭＯＳイメージセンサの温度の情報が入力され、上記Ｃ−ＭＯＳイメージセンサの温度に基づき、上記画素の画素値が上記Ｄidに近づく方向に補正する画像補正手段とを備えたことを特徴としている。
【００１３】
これにより、Ｃ−ＭＯＳイメージセンサが昇温して画像のノイズが増大しても、それを効果的に軽減することができる。それゆえ、Ｃ−ＭＯＳイメージセンサの温度上昇によるノイズレベル悪化を容易に軽減でき、温度に関係なくノイズの少ない高品位な画像表示の可能な画像処理を行うことができるという効果を奏する。
【００１４】
例えば、昇温により必要量以上の電荷が多くなり輝度値が増大してしまう場合でも、画素の輝度値を小さくする方向へ画像データを補正し、それにより、輝度値の増大による白点などのノイズを軽減することができる。
【００１５】
ここで、所定の補正手順、例えば、式による計算や、あらかじめ用意したデータテーブルの参照などの手順を用いることができる。
【００１６】
このように、採用するＣ−ＭＯＳイメージセンサ自体の温度−ノイズ特性に委ねるのではなく、Ｃ−ＭＯＳイメージセンサを採用したデジタルカメラ等の画像処理装置システム全体で、ノイズを軽減すべく、好適に画像データを補正している。
【００１７】
そのため、Ｃ−ＭＯＳイメージセンサの温度上昇によるノイズレベル悪化に対し、Ｃ−ＭＯＳイメージセンサ自体の特性の改良が不要である。また、Ｃ−ＭＯＳイメージセンサの個体ごとに温度特性バラツキが存在していても、これを吸収することができ、個々のＣ−ＭＯＳイメージセンサに対応できる。また、Ｃ−ＭＯＳデジタルカメラで撮影した画像が上記白点を多く含んでいた場合に、画像処理装置に転送した後で、操作者が自分で画像処理の各操作パラメータをカット＆トライにて決める必要がない。
【００１８】
それゆえ、Ｃ−ＭＯＳイメージセンサの温度上昇によるノイズレベル悪化を容易に軽減でき、温度に関係なくノイズの少ない高品位な画像表示の可能な画像処理を行うことができる。
【００１９】
上記本発明の画像処理装置は、撮影した画像を外部インタフェースを介して外部の別の画像処理装置に転送する機能を持つ、Ｃ−ＭＯＳイメージセンサを搭載したデジタルカメラとすることができる。また、本発明の画像処理装置は、上記温度計測手段の出力を入力とし、露光調整、ホワイトバランス調整、ノイズレベル補正を行う制御マイコン（マイクロコンピュータ）や、画像の高品質化ブロックとして、階調補正処理やエッジ強調処理を行うブロックを有することができる。
【００２０】
また、このノイズレベル補正として、Ｃ−ＭＯＳイメージセンサ出力をアナログ増幅するＡＧＣアンプの制御最大値を制限したり、アナログ増幅した後Ａ／Ｄ変換器の入力オフセット電圧を調節したり、画像高品質化ブロックにおける階調補正パラメータやエッジ強調パラメータを調節したりするように構成することができる。
【００２１】
また、上記制御マイコンの管理下に不揮発性メモリを有し、動作保証温度範囲を数個に分割し、そのおのおのの分割範囲と上記ノイズレベル補正パラメータとの対応テーブルを上記不揮発性メモリに記憶し、制御マイコンが、上記Ｃ−ＭＯＳイメージセンサの温度がどの温度範囲に属するかを判定し、温度範囲に対応したノイズレベル補正パラメータを上記不揮発性メモリから読み出し、上記各高品質化ブロックに設定するように構成することができる。
【００２２】
また、本発明の画像処理装置は、上記構成において、Ａ／Ｄ変換前後の上記画素の画素値をそれぞれＸ、Ｙとし、上記Ｃ−ＭＯＳイメージセンサの温度によって定まる境界値をＣａとするとき、
Ｘ≦ＣａのときＹ＝０、
Ｃａ＜ＸのときＹ＝Ｘ−Ｃａ
を満たすようにＡ／Ｄ変換するＡ／Ｄ変換器を備え、上記画像補正手段が、上記Ｃ−ＭＯＳイメージセンサの昇温につれて上記Ｃａを増加させることを特徴としている。
【００２３】
上記の構成により、Ｘ≦ＣａのときにはＹ＝０を満たすようにＡ／Ｄ変換し、Ｃａ＜ＸのときにはＹ＝Ｘ−Ｃａを満たすようにＡ／Ｄ変換する。したがって、Ａ／Ｄ変換前の元の画素値が高い部分では、Ａ／Ｄ変換後の画素値は、元の画素値より低いが比較的高い画素値が保たれる一方、ある境界値Ｃａを境にして、Ａ／Ｄ変換前の元の画素値が低い部分では、元の画素値に関係なく、Ａ／Ｄ変換後の画素値が０となる。すなわち、Ａ／Ｄ変換前の元の入力画素値の範囲を２分割し、元の画素値が低い範囲については、Ａ／Ｄ変換後の画素値は０になり、元の画素値が高い範囲については、Ａ／Ｄ変換後の画素値は、比例定数が１で、ある正の境界値Ｃａ分だけ小さくなるような入出力特性を持ったＡ／Ｄ変換特性となっている。
【００２４】
このため、明るい部分と暗い部分との差がより強調される。それゆえ、上記の構成による効果に加えて、Ｃ−ＭＯＳイメージセンサの温度上昇によるノイズゆえに白点化などのように全体的に輝度が高くなるのを防止し、画像のコントラストをより良好に、よりきめ細かく高めることができ、より高品位表示化することができる。
【００２５】
また、本発明の画像処理装置は、上記構成において、階調補正前後の上記画素の画素値をそれぞれＸ、Ｙとし、上記Ｃ−ＭＯＳイメージセンサの温度によって定まる境界値をＣｇとするとき、定数ｇ、０＜ｐ＜１を満たす定数ｐ、０＜ｒ＜１を満たす定数ｒに対し、
Ｘ≦ＣｇのときＹ＝ｐＸ、
Ｃｇ＜ＸのときＹ＝ｇ・｛（Ｘ−Ｃｇ）／（ｇ−Ｃｇ）｝r ＋ｐＣｇ
を満たすように階調補正する階調補正処理部を備え、上記画像補正手段が、上記Ｃ−ＭＯＳイメージセンサの昇温につれて上記Ｃｇを増加させることを特徴としている。
【００２６】
上記の構成により、Ｘ≦ＣｇのときＹ＝ｐＸ、Ｃｇ＜ＸのときＹ＝ｇ・｛（Ｘ−Ｃｇ）／（ｇ−Ｃｇ）｝r ＋ｐＣｇを満たすように階調補正する。したがって、上に凸の指数関数に沿い、画素値が中程度の部分では、階調補正後の画素値は、階調補正前の元の画素値より大きくなり、階調補正前の元の画素値が高い部分では、その大きくなる度合いが徐々に小さくなる。一方、画素値のある境界値Ｃｇを境にして、階調補正前の元の画素値が低い部分では、０＜ｐ＜１であるため、階調補正後の画素値は、階調補正前の元の画素値より画素値が小さくなる。すなわち、階調補正前の元の入力画素値の範囲を２分割し、画素値が低い範囲については、比例定数が１よりも小さくかつ０より大きい１次式となり、画素値が高い範囲に関しては、中間調増幅特性となる入出力特性を持つような階調補正特性を有している。
【００２７】
このため、明るい部分と暗い部分との差がより強調される。それゆえ、上記の構成による効果に加えて、Ｃ−ＭＯＳイメージセンサの温度上昇によるノイズゆえに白点化などのように全体的に輝度が高くなるのを防止し、画像のコントラストをより良好に、よりきめ細かく高めることができ、より高品位表示化することができる。
【００２８】
また、本発明の画像処理装置は、上記構成において、上記画像補正手段が、上記Ｃ−ＭＯＳイメージセンサの温度によって定まる基準値Ｙｄを、上記Ｃ−ＭＯＳイメージセンサの昇温につれて減少させ、１画像サイズ分の画素内の任意の横３画素、縦３画素より構成される画素エリアを考え、注目画素をその３×３画素エリアの中央の画素としたとき、全９画素のそれぞれ赤、緑、青の画素値であるＲ値、Ｇ値、Ｂ値をそれぞれ昇順または降順に並べ替えたときのＲ値、Ｇ値、Ｂ値それぞれにおける中央値Ｒｃ、Ｇｃ、Ｂｃを求め、各色において、上記９画素の輝度平均値Ｙｎを求め、上記注目画素の輝度値Ｙｍと上記９画素の輝度平均値Ｙｎとを比較し、その差が上記基準値Ｙｄ以上であるときに、上記注目画素のＲ値、Ｇ値、Ｂ値をそれぞれ上記９画素の中央値Ｒｃ、Ｇｃ、Ｂｃで置き換えることを特徴としている。
【００２９】
上記の構成により、１画像サイズ分、例えばデジタルカメラ撮影画像の１画面分の、画素内の任意の横３画素、縦３画素より構成される画素エリアを考え、注目画素をその３×３画素エリアの中央の画素としたとき、注目画素の輝度値Ｙｍと上記９画素の輝度平均値Ｙｎとの差が基準値Ｙｄ以上であるときに注目画素のＲ値、Ｇ値、Ｂ値をそれぞれ上記９画素の中央値Ｒｃ、Ｇｃ、Ｂｃで置き換える処理を行う際に、基準値Ｙｄを、Ｃ−ＭＯＳイメージセンサの昇温につれて小さくする。したがって、昇温時には、上記差がＹｄ以上という条件を満たしやすくなる。そのため、上記のような置き換え処理に該当する画素が多くなり、多くの画素が置き換え処理される。これは、昇温するほどノイズが高くなり白点など輝度が高すぎる画素が増えるという現象に対して、置き換え処理により輝度が下げられる画素も増えるということである。それゆえ、上記の構成による効果に加えて、昇温により白点などの画像のノイズが増えても、それをより容易かついっそう効果的に抑制することができる。
【００３０】
また、本発明の画像処理装置は、上記構成において、上記画像補正手段が、計測した上記Ｃ−ＭＯＳイメージセンサの温度が前回の計測時と同一であるか否かを調べ、今回計測した上記Ｃ−ＭＯＳイメージセンサの温度が前回の計測時と同一であるときは、上記基準値Ｙｄとして、前回の計測時の値を用いることを特徴としている。
【００３１】
上記の構成により、今回計測した上記Ｃ−ＭＯＳイメージセンサの温度が、前回の計測時と同一であるときは、上記基準値Ｙｄとして、前回の計測時の値を用いる。したがって、その分処理を簡略化することができる。それゆえ、上記の構成による効果に加えて、より容易に、Ｃ−ＭＯＳイメージセンサの温度に応じて適切な画像処理を行うことができる。
【００３２】
【発明の実施の形態】
〔実施の形態１〕
本発明の実施の一形態について図１ないし図６に基づいて説明すれば、以下の通りである。
【００３３】
図１は、本実施の形態に係る画像処理装置としてのデジタルカメラのブロック図である。１は、光電変換を行うＣ−ＭＯＳイメージセンサである。２は、温度センサ（温度計測手段）であり、Ｃ−ＭＯＳイメージセンサ１のチップ温度を測定する。Ｃ−ＭＯＳイメージセンサ１は、Ｃ−ＭＯＳイメージセンサの画素を構成するフォトダイオードの蓄積電荷をＭＯＳトランジスタでスイッチングして読み出すため、理想的にはフォトダイオードの光電変換による電荷のみがスイッチング操作により外部に読み出されればよいが、フォトダイオードおよびＭＯＳトランジスタの製造バラツキによりフォトダイオードで光電変換以外の電荷が発生し、それが本来の撮像画像による電荷にプラスされ、周囲画素よりも明るい画素、すなわち輝度の高い白い点として見える。これは白点ノイズと呼ばれている。この白点ノイズレベルは温度上昇に伴い増加する特性がある。
【００３４】
上記光電変換以外の電荷が多い画素がイメージセンサ内で多い場合は、画像品質を劣化させる要因となる。また、このノイズレベルは、温度が上昇するのに伴い増加する。たとえば、常温でＳ／Ｎ（信号対雑音比）が良好なＣ−ＭＯＳイメージセンサも、周囲温度が上昇し、Ｃ−ＭＯＳイメージセンサチップの温度も上昇すると、ノイズが目立つようになる。その結果、画像全体に白く浮き上がり、かつ、特にノイズレベルの高い画素は白点として現れ、Ｓ／Ｎの著しい劣化、コントラストの低下、ダイナミックレンジが狭くなる等の影響が出る。
【００３５】
３は、カメラシステム全体の制御を行う制御マイコン（マイクロコンピュータ）である。本実施の形態においては、制御マイコン３は、温度センサ２からＣ−ＭＯＳイメージセンサ１のチップ温度の情報が入力されるようになっている。そして、制御マイコン３は、信号処理ＤＳＰ６と協調して、入力された映像信号の輝度平均値（Ｙ）、色信号の信号平均値（Ｉ、Ｑ）、および、温度センサ出力値により、画像の明るさ、色バランス（ホワイトバランス）、画像の高品質化に寄与する階調補正曲線、エッジ強調パラメータ、Ａ／Ｄ変換器５の入力オフセット電圧等をダイナミックに制御する。特に、本発明に関わる、温度センサ２から入力される温度データについては、カメラの動作保証温度範囲を３つに分割したそれぞれの温度範囲のどこに属するかを判定し、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）１１から温度範囲に対応した設定パラメータを読み出し、Ａ／Ｄ変換器５の入力オフセット電圧、信号処理ＤＳＰ６の階調補正曲線、エッジ強調パラメータ等を設定する。なお、ＥＥＰＲＯＭ１１の設定値は、パーソナルコンピュータあるいはＰＤＡ（Personal Digital Assistant）といったホスト装置から外部コネクタ１２、ホストインタフェース１１および制御マイコン３を介して書き換えが可能であり、使用するＣ−ＭＯＳイメージセンサに応じて変更（チューニング）することが可能である。
【００３６】
温度センサ２による温度測定としては、例えばサーミスタを用い、これを制御マイコンに接続することで行うことができる。サーミスタは、温度によって電気抵抗が変化する素子である。このため、マイコン内蔵の定電流回路により一定の電流をサーミスタに流し、サーミスタ両端の端子電圧をマイコン内蔵のＡ／Ｄ変換器でＡ／Ｄ変換してデジタル値に変換することにより、温度データを得ることが可能である。
【００３７】
４は、光電変換されたアナログの映像信号を増幅するＡＧＣ（Auto Gain Control ）アンプである。ＡＧＣアンプ４は、制御マイコン３により、画面上で適切な明るさとなるようにそのゲインをコントロールされる。ＡＧＣアンプ４のゲインの最大値は、制御マイコン３により、温度が低いときはデフォルト値まで上昇し、温度が高い場合は小さくなるように制御される。
【００３８】
５は、ＡＧＣアンプ４で増幅されたアナログの映像信号をデジタル値に変換するＡ／Ｄ変換器である。このＡ／Ｄ変換器５の入力部分には、入力映像信号に正の直流バイアス電圧を加え、デジタル出力を全体的に高めにしたり、逆に負の直流バイアス電圧（後述の−Ａb 、−Ａc ）を与えアナログ映像信号の振幅の低い部分をクリップしたりできる。この直流バイアス値も、制御マイコン３から変更可能である。
【００３９】
６は、カメラの信号処理ＤＳＰ（Digital Signal Processor、デジタル信号処理装置）であり、ＯＢオフセットクランプ、画素補間処理部、ＹＩＱ値積算処理部、ホワイトバランスアンプとからなる画像補正処理部６ａを有している。制御マイコン３および信号処理ＤＳＰ６によって画像補正手段が構成されている。ＯＢオフセットクランプは、黒レベルの再生を行う。画素補間処理部は、各画素ごとにＲＧＢの３色を再現する画素補間処理を行う。ＹＩＱ値積算処理部は、自動露光制御や自動色補整（自動ホワイトバランス制御）等の判断データとなる輝度（Ｙ）および色信号（Ｉ、Ｑ）値積算処理を行う。ホワイトバランスアンプは、前記ＹＩＱ積算値に基づきＲＢゲインを制御するホワイトバランス処理等を行う。信号処理ＤＳＰ６は、これら画像補正処理部６ａの動作を制御マイコン３と連動して行っている。
【００４０】
また、信号処理ＤＳＰ６は、階調補正処理部６ｂおよびエッジ強調処理部６ｃをも有している。階調補正処理部６ｂは、画像の高品位化処理として、画像の階調を補正し、明るくコントラストのよい画像を作り出すブロックである。たとえば入力信号に対し、中間調を増幅するような補正曲線を与えることにより、画像の画素値分布の最大値と最小値は変化させずに全体的に明るい出力画像を得ることが可能である。また、入力Ｘに対し、出力Ｙ＝−Ｘとなるような負の直線特性を与えることにより階調反転を実現することも可能である。
【００４１】
エッジ強調処理部６ｃは、同じく画像の高品位化処理として、画像のくっきり感を強調するためのブロックである。
【００４２】
信号処理ＤＳＰ６から出力された画像信号は、メモリコントローラ７を介して、一旦フレームメモリ８に格納される。
【００４３】
メモリコントローラ７は、エッジ強調処理された完成されたデジタル画像データをフレームメモリ８へ格納することや、外部コネクタ１０に接続されたパーソナルコンピュータやＰＤＡといったホスト装置からホストインタフェース９を介して与えられる画像読み出しコマンドにより、画像データを読み出してホストインタフェース９に転送する等の動作を行う。メモリコントローラ７は、外部コネクタ１０に接続されたパーソナルコンピュータやＰＤＡといったホスト装置がホストインタフェース９を介して読み出し操作を行うたびに、フレームメモリ８から１画素ずつＲＧＢ値をホストインタフェース９に転送する。
【００４４】
ホストインタフェース９は、上述したように、ホスト装置からの要求に応じて、メモリコントローラ７と協調して画像データをホスト装置へ転送する。また、ホスト装置から、制御マイコン３用のプログラムを制御マイコン３に転送し、制御マイコン３がそれをＥＥＰＲＯＭ１１に書き込む際にも利用される。この制御プログラム転送機能は、主に製品開発時のマイコン制御プログラム開発、製造工程において出荷用の制御プログラムの書き込み、製品出荷後の制御マイコンプログラムのバージョンアップ等に利用されている。また、ホスト装置から転送する制御プログラムは、ホスト装置が持つ外部記憶装置のタイプに応じた記録媒体に収納されている。例えば、屋外での撮影テストを行いながらの制御プログラム開発では、ホスト装置には可搬型のコンピュータが利用され、記録媒体は、例えば、ＰＣＭＣＩＡ（Personal Computer Memory Card International Association）のTypeIIのＡＴＡ（Advanced Technology Attachment）カードや、あるいは３．５インチ等のサイズの磁気ディスク等とすることができる。
【００４５】
制御マイコン３による温度センサの出力値に応じた、Ａ／Ｄ変換器５、階調補正処理部６ｂ、エッジ強調処理部６ｃの各ブロックの制御の具体例について説明する。
【００４６】
制御マイコン３は、図２に示す表に従って、各ブロックの設定値を決定する。図２では、本デジタルカメラのシステム全体の動作温度範囲である０℃〜４０℃を３つの温度範囲に分割し、そのおのおのについて設定値が定義されている。
【００４７】
Ｃ−ＭＯＳイメージセンサ１のチップ温度Ｔａが上昇し、ノイズレベルが増大すると、出力画像は全体的に白く浮き上がる。したがって、制御マイコン３が、温度に応じてＡ／Ｄ変換器５の入力部分の直流バイアス電圧（入力オフセット電圧）を切り換えて、画素値の低い部分がＡ／Ｄ変換器５の入力最低電圧（後述のＡｂ、Ａｃ）よりも低くなるようにすれば、ノイズがクリップされ、ノイズの目立たない出力画像を得ることが可能である。ここで、入力オフセット電圧とは、Ａ／Ｄ変換器５にＣ−ＭＯＳイメージセンサ１からの画素アナログ出力を入力する際に、この画素アナログ出力に加える電圧である。また、後述するエッジ強調パラメータは、以下の式
hvparam＿a ＞ hvparam＿b ＞ hvparam＿c
nnparam＿a ＞ nnparam＿b ＞ nnparam＿c
で示される関係を有している。
【００４８】
図２の３つの温度範囲に対応したＡ／Ｄ変換器５の入出力特性を図３に示す。すなわち、図３は、Ａ／Ｄ変換器５の入力と出力との関係（入出力特性）を示しており、温度上昇時に、Ｃ−ＭＯＳイメージセンサ１からＡ／Ｄ変換器５に入力される画素アナログ出力に加える電圧すなわち入力オフセット電圧を下げることにより、入出力特性がａ→ｂ→ｃのように切り替わっていくことを表している。入力アナログレベルをＸ、Ａ／Ｄ変換後のデジタルレベルをＹとし、ある定数をＣａ（＞０）とすると、図３の直線はそれぞれ、式（１）に示す数式
Ｙ＝Ｘ−Ｃａ （Ｃａ＜Ｘ≦Ｘmax ） （１）
Ｙ＝０ （０≦Ｘ≦Ｃａ）
で表される。そして、具体的には、図３では、この定数Ｃａとして、２５℃〜３５℃の範囲、３５℃以上あるいは３５℃より高温の範囲において、それぞれＡｂ、Ａｃ（ここではいずれも正）を用いる。そのため、０℃〜２５℃のＡ／Ｄ変換曲線（直線）ａ、２５℃〜３５℃のＡ／Ｄ変換曲線ｂ、および３５℃以上あるいは３５℃より高温の場合のＡ／Ｄ変換曲線ｃはそれぞれ、
Ｙ＝Ｘ （０≦Ｘ≦Ｘmax ） （Ａ／Ｄ変換曲線ａ） （１ａ）
Ｙ＝Ｘ−Ａｂ （Ａｂ＜Ｘ≦Ｘmax ） （Ａ／Ｄ変換曲線ｂ） （１ｂ）
Ｙ＝０ （０≦Ｘ≦Ａｂ）
Ｙ＝Ｘ−Ａｃ （Ａｃ＜Ｘ≦Ｘmax ） （Ａ／Ｄ変換曲線ｃ） （１ｃ）
Ｙ＝０ （０≦Ｘ≦Ａｃ）
で表される１つの直線、または２つ以上の直線の組み合わせからなる線である。なお、図中、Ｙsat はＹの最大値である。Ａｂ、Ａｃの値は、画像処理装置の製造時や制御マイコン３のプログラムの変更時に任意に設定できる。
【００４９】
図３において、温度範囲が０℃〜２５℃では、ノイズレベルがさほど大きくないため、Ａ／Ｄ変換曲線ａに従い、入力されたアナログ画像信号をそのままデジタルに変換している。Ｃ−ＭＯＳイメージセンサ１のチップ温度が上昇し、ノイズによる白浮きが目立つようになるに従い、Ａ／Ｄ変換曲線ｂ、ｃと切り換え、それぞれＡｂ、Ａｃ以下の入力をクリップする。入力をクリップすることにより、画像全体に白く浮き上がる現象が抑えられる。また、ノイズレベルの大きく白い点として見える画素も、入力時点でＡｂあるいはＡｃだけ画素値が下がるため、後段の階調補正曲線による中間調の増幅特性との相乗効果でＳ／Ｎがより大きく改善される効果がある。
【００５０】
図４に、図２に示す各温度範囲において設定される階調補正特性を示す。入力画素値をＸ、階調補正後の出力画素値をＹとすると、温度範囲が０℃〜２５℃では、ノイズレベルがさほど大きくないため、階調補正処理部６ｂヘの入力の最小値から最大値までを、ゆるやかな中間調増幅特性を持つ曲線ａに従って階調変換を行っている。すなわち、曲線ａや、曲線ｂ、ｃの曲線部（高画素値領域）はいずれも、上に凸の形状で単調増加の曲線である。中間調を明るくすることにより、全体的に明るくコントラスト良い画像を得ることが可能である。
【００５１】
Ｃ−ＭＯＳイメージセンサ１のチップ温度が上昇し、ノイズによる白浮きが目立つようになるに従い、階調補正曲線をｂ、ｃに切り換える。そして、それぞれＧｂ、Ｇｃ以下の入力（低画素値領域）に対しては１以下の増幅率を与え、ノイズが目立つ入力を減衰させる。入力がＧｂ、あるいは、Ｇｃ以上となった場合（高画素値領域）は、曲線ａ同様、中間調増幅特性を与える。この例ではＡ／Ｄ変換器５の出力ビット数は８ビットであり、入力値Ｘは０から２５５までの値を取りうる。すなわち、ある定数をＣｇ（＞０）とすれば
０≦Ｘ≦Ｃｇのとき
Ｙ＝ｐ・Ｘ
Ｃｇ≦Ｘ≦２５５のとき
Ｙ＝２５５×｛（Ｘ−Ｃｇ）／（２５５−Ｃｇ）｝r ＋ｐ・Ｃｇ （２）
である。ただし０＜ｐ＜１、ｒ＜１である。そして、具体的には、図４では、この定数ＣｇとしてＧｂ、Ｇｃ（ここではいずれも正）の２つを用いている。そして、０℃〜２５℃の階調補正曲線ａは、
０≦Ｘ≦２５５のとき
Ｙ＝２５５×（Ｘ／２５５） ｒ （２ａ）
であり、２５℃〜３５℃の階調補正曲線ｂは、
０≦Ｘ≦Ｇｂのとき
Ｙ＝ｐ・Ｘ
Ｇｂ≦Ｘ≦２５５のとき
Ｙ＝２５５×｛（Ｘ−Ｇｂ）／（２５５−Ｇｂ）｝r ＋ｐ・Ｇｂ （２ｂ）
であり、３５℃以上あるいは３５℃より高温の場合の階調補正曲線ｃは、
０≦Ｘ≦Ｇｃのとき
Ｙ＝ｐ・Ｘ
Ｇｃ≦Ｘ≦２５５のとき
Ｙ＝２５５×｛（Ｘ−Ｇｃ）／（２５５−Ｇｃ）｝r ＋ｐ・Ｇｃ （２ｃ）
で表される。
【００５２】
Ａ／Ｄ変換器５の出力ビット数がｎビットであれば、上記式中の２５５が２n-1 に替わる。また、Ｇｂ、Ｇｃ、ｐ、ｒの値は、画像処理装置の製造時や制御マイコン３のプログラムの変更時に任意に設定できる。
【００５３】
この不連続な階調変換を行うことにより、温度上昇した場合でも、ノイズを抑え、しかも、暗いところは暗く、中間調を明るく、また、もともと明るい部分は明るく再現することが可能であり、コントラストの良い出力画像を得ることが可能である。
【００５４】
さらに、本実施の形態においては、エッジ強調処理部６ｃのエッジ強調パラメータを、温度センサ２の出力に応じて切り換えている。エッジ強調は、図５に示す３×３の画素（ａないしｉ）について次の演算により行っている。これは一般にラプラシアンフィルタと呼ばれている微分フィルタを構成している。いま、図５の３×３画素の中央画素ｅを注目画素としたとき、微分フィルタによる出力画素値をＯｕｔとすれば、
Ｏｕｔ＝ｅ＋hvparam ｛ｅ−（ｂ＋ｄ＋ｆ＋ｈ）／４｝
＋nnparam ｛ｅ−（ａ＋ｃ＋ｇ＋ｉ）／４｝ （３）
である。なお、ａないしｉはここでは各画素の画素値（電圧値のデジタルレベル）である。また、式（３）において、第２項は水平方向および垂直方向のエッジ成分を表しており、hvparam はその増幅係数である。また、第３項は斜め方向のエッジ成分であり、nnparam はその増幅係数である。
【００５５】
Ｃ−ＭＯＳイメージセンサ１の温度が上昇した場合は、制御マイコン３はhvparam およびnnparam を小さくし、画素の白点ノイズを目立たなくしている。すなわち、hvparam およびnnparam は実際には、それぞれ、図２に示す通り、Ｃ−ＭＯＳイメージセンサの温度Ｔａが０℃〜２５℃では hvparam＿a 、 nnparam＿aであり、Ｔａが２５℃〜３５℃では hvparam＿b 、 nnparam＿b であり、Ｔａが３５℃〜では hvparam＿c 、 nnparam＿c であり、すでに述べたように
hvparam＿a ＞ hvparam＿b ＞ hvparam＿c
nnparam＿a ＞ nnparam＿b ＞ nnparam＿c
で示される関係を有している。
【００５６】
なお、図３の処理と図４の処理とは、いずれか一方を行ってもよく、また、両方を行えば、白点ノイズを目立たなくするうえでより好ましい。
【００５７】
このように、本実施の形態においては、Ｃ−ＭＯＳイメージセンサ１の、大きさがその温度に依存するノイズが発生しない場合の、最終的に表示される時点の画素の画素値をＤidとするとき、まず、Ｃ−ＭＯＳイメージセンサ１の温度を温度センサ２にて実際に測る。そして、得られたＣ−ＭＯＳイメージセンサ１の温度情報に基づき、画素の画像データを、図２ないし図４等を用いて説明したように処理する。それによって、最終的に表示される時点のその画素の画素値が上記Ｄidに近づくような補正を行っている。したがって、Ｃ−ＭＯＳイメージセンサ１が昇温して画像の白点ノイズ等のノイズが増大するような状況でも、そのようなノイズを効果的に軽減することができる。
【００５８】
以上の制御マイコン３の処理は、制御マイコン３に組み込まれたソフトウエアによって実現されている。このソフトウェアによる動作について、図６を用いて説明する。
【００５９】
図６は、制御マイコンの動作を表している。ステップ１０１（以下ステップをＳと略記する。）では、制御マイコン３が、制御マイコン３に直結されたＥＥＰＲＯＭ１１から制御プログラムを読み出し、マイコン内ＲＡＭへ読み込んでいる。
【００６０】
１秒３０枚のフレームレートの場合は、Ｓ１０２以下の処理が１秒につき３０回繰り返される。Ｓ１０２では、ホワイトバランス、露光制御のため、１フレームの輝度（Ｙ）、色信号（Ｉ信号およびＱ信号）の積算値を信号処理ＤＳＰ６より読み出し、その画素平均値を計算する。
【００６１】
Ｓ１０３では、Ｙ値により露光制御を行う。具体的には電子シャッターおよびＡＧＣアンプ４のゲインの制御を行い、被写体が暗くなれば電子シャッターによる露光時間を長く制御し、電子シャッターの最長露光時間を越えても目標の明るさが得られない場合はＡＧＣアンプ４の増幅率を上げる。逆に、被写体が明るくなった場合は、ＡＧＣアンプ４の増幅率を下げ、電子シャッターによる露光時間が短くなるように制御する。また、Ｓ１０４では、自動ホワイトバランス処理を行う。
【００６２】
一方、制御マイコン３は、処理したフレーム数をカウントしており（Ｓ１０５）、Ｓ１０６で規定のカウント値まで達したら、Ｓ１０７にて温度センサ２からＣ−ＭＯＳイメージセンサ１の温度情報を取得し、Ｓ１０８にて、図２の温度範囲のどの範囲に入るかを判定し、Ｓ１０９で、上記入力オフセット電圧（以下、Ａ／Ｄオフセットと略称する）、階調補正曲線、エッジ強調パラメータ等の設定を行う。これは、温度の変化はフレームレートに比べると非常に緩やかであり、毎フレームに温度センサ出力によって制御することは不要だからである。
【００６３】
温度センサ２の出力値による上記Ａ／Ｄオフセット、階調補正曲線、エッジ強調パラメータ等の設定終了後、フレームカウンタを０にリセットし（Ｓ１１０）、次フレームの制御に移行する。
【００６４】
本マイコンプログラムは、制御マイコン３内のＲＯＭに格納するものであってもよいし、ホストインタフェース９を介して、パーソナルコンピュータやＰＤＡといったホスト装置から電源投入時に制御マイコン３にロードされるものであってもよい。後者の場合は、後々のソフトウェアのバージョンアップがしやすいメリットがある。本実施の形態では、制御マイコン３内にＳ−ＲＡＭ（static random access memory ）を内蔵しており、電源投入時にホスト装置から制御プログラムをロードする方式を採用している。
【００６５】
〔実施の形態２〕
本発明の他の実施の形態について図７ないし図１４に基づいて説明すれば、以下の通りである。なお、説明の便宜上、前記の実施の形態の図面に示した部材と同一の機能を有する部材には、同一の符号を付記してその説明を省略する。
【００６６】
図７に示すように、本実施の形態に係るデジタルカメラは、実施の形態１とほぼ同様の構成を有している。
【００６７】
本実施の形態においては、制御マイコン３は、実施の形態１におけるＥＥＰＲＯＭ１１（図１参照）の機能を、制御マイコン３内部に備えている。あるいは、実施の形態１同様にＥＥＰＲＯＭ１１を備えるようにしてもよい。また、ホストインタフェース９は内部に画像読み出しレジスタ（ＲＧＢレジスタ）９ａ（温度情報記憶手段）を備えており、制御マイコン３は、温度センサ２から入力される温度データを、この画像読み出しレジスタ９ａに書き込む機能を有している。
【００６８】
メモリコントローラ７は、外部コネクタ１０に接続されたパーソナルコンピュータやＰＤＡといったホスト装置がホストインタフェース９を介して画像読み出しレジスタ９ａに対し読み出し操作を行うたびに、フレームメモリ８から１画素ずつ、ＲＧＢ値をホストインタフェース９内の画像読み出しレジスタ９ａに転送するようになっている。
【００６９】
ホストインタフェース９内の画像読み出しレジスタ９ａは、図８に示すように、８ビット幅のレジスタであり、アドレス順に、画像サイズの横幅Ｗx 、画像サイズの縦幅Ｗy 、温度センサ２の測定値（Ｃ−ＭＯＳイメージセンサ１のチップ温度）Ｔａ、１画素分のＲＧＢ値等を格納している。画素のＲＧＢ値は、ホスト装置からの指示により１画素分のＲＧＢ値がフレームメモリ８から読み込まれると、ホストインタフェース９はメモリコントローラ７と協調して、次の画素のＲＧＢ値をフレームメモリ８から読み出して画像読み出しレジスタ９ａに格納するようになっている。したがって、ホスト装置は１枚の画像の画素数回だけ画像読み出しレジスタ９ａを繰り返し読むことにより全画素のＲＧＢ値を順次読み込むことができる。
【００７０】
図１０に示すように、本実施の形態におけるデジタルカメラとしてのＣ−ＭＯＳデジタルカメラ６０には、Ｃ−ＭＯＳイメージセンサ６２（Ｃ−ＭＯＳイメージセンサ１に相当する）が格納されており、カード状の部分には、ホスト装置としての画像処理装置５０とインタフェースするための外部コネクタ６１（外部コネクタ１０に相当する）が搭載されている。
【００７１】
また、画像処理装置５０には、各種操作を行うためのキー５２・５３、画像を表示する表示部５１、上記Ｃ−ＭＯＳデジタルカメラ６０等の周辺機器とインタフェースするためのインタフェースコネクタ５４が搭載されている。
【００７２】
図９は、本発明に関わるホスト装置としての画像処理装置の構成を示している。ユーザ入力装置２０３は、図１０においてはキー５２および５３であり、マスクＲＯＭ２０６により提供されるホスト装置の基本的な機能の操作や、コマンドの選択等を行う。表示装置２０２は、ユーザのキー操作による応答や、処理結果の画像の表示等を行う。２０４は画像処理用のフレームメモリであり、２０５は画像処理に用いるワークメモリとしての演算用メモリである。２０７はユーザデータを記憶するユーザデータ記憶メモリである。本実施の形態におけるホスト装置は、デジタルカメラの画像を表示する機能の他に、住所録や、電話帳、個人データベース、スケジュール管理、電子メール等の個人情報管理機能を搭載しており、ユーザのデータを多く記録できるようになっている。
【００７３】
２０８は、デジタルカメラやその他の周辺機器のデータフォーマットを変換する外部インタフェースである。２１０のインタフェースコネクタには、デジタルカメラをはじめ、数種類の周辺機器が接続される。図１０においては、このインタフェースコネクタ２１０は画像処理装置５０の内部に搭載されている（インタフェースコネクタ５４）。図１０に示すカード状のＣ−ＭＯＳデジタルカメラ６０やその他のカード型周辺機器を、画像処理装置５０の、図中、右側面に設けられたスリットに挿入すると、周辺機器側の外部コネクタ６１とホスト側のインタフェースコネクタ５４とが画像処理装置５０の内部で接続される。
【００７４】
本実施の形態では、図１１に示すフラッシュメモリカード型のメモリ媒体内に画像処理プログラムを格納しており、画像処理装置５０にこのカード型のメモリ媒体を外部記憶装置２０９として差し込み、ＣＰＵ２０１がその画像処理プログラムを読み出して実行することにより画像処理装置を構成している。
【００７５】
次に、図１２、図１３、および図１４のフローチャートを用いて、上記画像処理プログラムによる画像処理について説明する。
【００７６】
ステップ２０１（以下ステップをＳと略記する。）では、ホストインタフェース９内の画像読み出しレジスタ９ａの図８に示すアドレス００〜０３から画像サイズを読み出す。これにより、後段ステップで、画像サイズ分の画素データ読み出し回数、および、フィルタ処理の繰り返し回数を決定する。Ｓ２０２では、同様にして温度センサ２の計測値Ｔａを読み出す。このＴａは、後段でフィルタ処理を行うか行わないかを決定するしきい値（ここでは、後述するＹｄ）を計算するためのパラメータとなる。
【００７７】
Ｓ２０３およびＳ２０４は、１画面分の画素値を読み出し、ホスト装置内のフレームメモリ２０４（図９参照）に読み込むプロセスである。図中Ａで示すこのＳ２０３およびＳ２０４の処理は、画像サイズ分繰り返す。
【００７８】
Ｓ２０５では、前回この図１４の処理を行ったときの温度センサ計測値と、Ｓ２０２で読み出した最新の温度センサ計測値とを比較し、前回と同一であれば、Ｓ２０６をスキップし、後段でフィルタ処理を行うか行わないかを決定するしきい値（Ｙｄ）の更新を行わない。
【００７９】
Ｓ２０６では、Ｃ−ＭＯＳイメージセンサ１のチップ温度Ｔａにより、ノイズ除去フィルタ処理を行うか行わないかを決定するしきい値Ｙｄを計算している。その計算には以下の式（４）を用いている。すなわち、
Ｙｄ＝−ｋ×Ｔａ＋Ｙ0 （４）
である。ここで、Ｙｄは、後段のノイズ除去フィルタ処理を行うか行わないかを決定するしきい値である。また、ｋは、使用するＣ−ＭＯＳイメージセンサの温度対Ｓ／Ｎの特性により決定される比例定数（ここでは正）である。ＴａはＣ−ＭＯＳイメージセンサ１のチップ温度であり、Ｙ0 は、温度Ｔａが０℃の場合のしきい値である。式（４）を図示すると図１２のようになる。図１２に示すように、Ｃ−ＭＯＳイメージセンサ１のチップ温度が低い場合は、ノイズ除去フィルタ処理を行うか行わないかを決定するしきい値Ｙｄを大きくすることで、ノイズ除去フィルタ処理を行う確率を下げる。一方、温度が高くなるにつれてこのしきい値Ｙｄを下げ、フィルタ処理を行う確率を高くする。これは、前述したようにＣ−ＭＯＳイメージセンサ１は温度が上昇すると発生するノイズレベルも上昇し、また白点ノイズとして見える画素の数も増加するので、このようなＣ−ＭＯＳイメージセンサに対し、より多くの白点ノイズを後段のノイズ除去フィルタの処理対象とするためである。
【００８０】
なお、Ｓ２０５で、Ｃ−ＭＯＳイメージセンサの温度計測値Ｔａが前回の画像読み出し時の値と同一であれば、式（４）の計算によるＹｄの更新は行わない。そのため、前回の画像読み出し時と同一のＹｄが、今回の次段のノイズ除去フィルタ処理で使用される。
【００８１】
Ｓ２０７からＳ２１３までが、本実施の形態で用いているノイズ除去フィルタ処理である。図中Ｂで示すこのＳ２０７ないしＳ２１３の処理は、画像サイズ分繰り返す。Ｓ２０７では、図１３に示すように、元画像から３×３画素の小エリアを切り出している。このとき、３×３の画素は、注目画素ｅが画面上で中央の画素となるように選ぶ。Ｓ２０８では、注目画素を含む３×３エリアに含まれる９画素のＲＧＢ値それぞれを昇順または降順に並べ替え、その中央の値（メディアン）を検出する。すなわち昇順、または、降順に並べ替えたときの５番目の値を求める。この値をそれぞれＲｃ、Ｇｃ、Ｂｃとする。また注目画素のＲＧＢ値をＲｅ、Ｇｅ、Ｂｅとする。
【００８２】
Ｓ２０９では、３×３エリアの輝度平均値Ｙｎを求めている。また、Ｓ２１０では、注目画素ｅの輝度Ｙｍを求めている。なお、Ｓ２０９およびＳ２１０において、これら輝度平均値（ＹｎやＹｍ）を求めるうえで、その元となる輝度値Ｙは次の式（５）によって求めている。すなわち、
Ｙ＝０．３Ｒ＋０．５９Ｇ＋０．１１Ｂ （５）
である。Ｒ、Ｇ、Ｂはそれぞれ赤、緑、青の画素値である。
【００８３】
Ｓ２１１では、Ｓ２０６で求めたしきい値Ｙｄを用いて、ノイズ除去フィルタ処理を行うか行わないかを判定している。注目画素の輝度値Ｙｍと９画素の輝度の平均値との差（絶対値）が上記しきい値Ｙｄよりも大きい場合は、注目画素が比較的目立つ白点であると判断して、Ｓ２１２で示すノイズ除去フィルタ処理を行い、注目画素の輝度値と９画素の輝度の平均値との差がしきい値Ｙｄと等しいかまたは小さい場合は、注目画素は白点ではないと判断し、Ｓ２１２のノイズ除去フィルタ処理を行わない。
【００８４】
Ｓ２１２でのノイズ除去フィルタ処理の方法は、一般にメディアンフィルタと呼ばれる方法であり、注目画素を含む近傍画素の平均値を求めるローパスフィルタ処理と比べて、解像度が落ちない特長がある。本実施の形態では、Ｃ−ＭＯＳイメージセンサ１のチップ温度により、上記メディアンフィルタ処理を行うか行わないかを決定する選択的手法を取り入れている。Ｓ２１１で、注目画素が白点であると判断された場合は、Ｒｅ＝Ｒｃ、Ｇｅ＝Ｇｃ、Ｂｅ＝Ｂｃとして、注目画素のＲＧＢ値を９画素の中央値でそれぞれ置き換える。Ｓ２１１で注目画素が白点ではないと判断された場合は、Ｓ２１２をスキップする。
【００８５】
Ｓ２１３では、注目画素を１画素シフトする。以上Ｓ２０７からＳ２１３までを画素数分だけ繰り返すことにより、画像の全画素についてノイズ除去フィルタ処理が実施されることになる。Ｓ２１４では、ノイズ除去フィルタ処理が施されて白点ノイズが除去された処理後の画像を、画像記録メディアに記録する。
【００８６】
なお、本発明に係るデジタルカメラは、以下のような構成とすることができ、これにより、Ｃ−ＭＯＳイメージセンサの温度に応じて、Ｃ−ＭＯＳイメージセンサの出力を信号処理によってノイズが目立たなくなるように補正することができる。
【００８７】
すなわち、本発明に係るデジタルカメラは、光電変換を行うＣ−ＭＯＳエリアイメージセンサと、前記Ｃ−ＭＯＳイメージセンサのチップ温度を測定する温度センサと、前記温度センサの出力を入力とし、露光調整、ホワイトバランス調整、ノイズレベル補正を行う制御マイコンと、画像の高品質化ブロックとして、階調補正、エッジ強調処理ブロックとを具備するように構成してもよい。
【００８８】
この構成により、Ｃ−ＭＯＳイメージセンサの温度を検出する温度センサをＣ−ＭＯＳイメージセンサに設けており、前記温度センサの出力は制御マイコンに入力されている。
【００８９】
また、本発明に係るデジタルカメラは、前記ノイズレベル補正をＣ−ＭＯＳイメージセンサ出力をアナログ増幅するＡＧＣアンプの制御最大値の制限、および、増幅した後アナログデジタル変換を行うＡ／Ｄ変換器の入力オフセット電圧調節にて行うように構成してもよい。
【００９０】
この構成により、Ｃ−ＭＯＳイメージセンサの温度を検出する温度センサをＣ−ＭＯＳイメージセンサに設けており、前記温度センサの出力は制御マイコンに入力されており、制御マイコンからＣ−ＭＯＳイメージセンサ出力をアナログ的に増幅するＡＧＣアンプの制御最大値の制限を行い、Ｃ−ＭＯＳイメージセンサ内で発生したノイズを不用意に増幅し目立つことを防止するとともに、増幅した後アナログデジタル変換を行うＡ／Ｄ変換器の入力オフセット電圧を調節し、温度が高いときは入力オフセット電圧を下げることによりノイズレベルをある程度クリッピングすることを可能としている。ここで、入力オフセット電圧とは、Ａ／Ｄ変換器にＣ−ＭＯＳイメージセンサからの画素アナログ出力を入力する際に、この画素アナログ出力に加える電圧である。図３は、Ａ／Ｄ変換器の入力と出力との関係（入出力特性）を示しており、温度上昇時に上記画素アナログ出力に加える電圧すなわち入力オフセット電圧を下げることにより、入出力特性がａ→ｂ→ｃのように切り替わっていく。
【００９１】
それゆえ、温度上昇によって生じた画素のノイズを低減することができる。
【００９２】
また、本発明に係るデジタルカメラは、前記ノイズレベル補正を、画像高品質化ブロックの階調補正パラメータ、エッジ強調ブロックパラメータを調節することによって実現するように構成してもよい。
【００９３】
この構成により、Ｃ−ＭＯＳイメージセンサの温度を検出する温度センサをＣ−ＭＯＳイメージセンサに設けており、前記温度センサの出力は制御マイコンに入力されており、制御マイコンから画像高品質化ブロックの階調補正パラメータを制御することにより、ノイズの目立たない階調補正を行うことができる。
【００９４】
特に、温度が低いときは、入力値域の広範囲にわたり、中間調増幅型の階調補正を行い、温度が高いときは、入力画素値が低い場合は、１よりも小さい正の増幅を行い、入力画素値が高い場合は中間調協調型の階調補正を行うことにより、低い画素値に集中する白点ノイズを効果的に低減することができる。
【００９５】
また、エッジ強調ブロックパラメータを調節することにより、温度が高いときはエッジ強調を多少弱くすることを可能としている。
【００９６】
また、本発明に係るデジタルカメラは、前記制御マイコンの管理下に不揮発性メモリを有し、動作保証温度範囲を数範囲に分割し、そのおのおのの分割範囲と前記ノイズレベル補正パラメータとの対応テーブルを前記不揮発性メモリに有し、制御マイコンが、前記温度センサ出力がどの温度範囲に属するかを判定し、温度範囲に対応したノイズ補正パラメータを前記不揮発性メモリから読み出して各ブロックに設定するように構成してもよい。
【００９７】
この構成により、Ｃ−ＭＯＳイメージセンサの温度を検出する温度センサをＣ−ＭＯＳイメージセンサに設けており、前記温度センサの出力は制御マイコンに入力されている。制御マイコンは、不揮発性メモリをその管理下に有しており、不揮発性メモリは、動作保証温度範囲を数範囲に分割したとき、そのおのおの温度範囲について前記ノイズレベル補正パラメータとの対応テーブルを有している。制御マイコンは、温度センサからの温度計測結果によって、前記対応テーブルから現在の温度に対応した補正値を各ノイズレベル補正ブロックに設定することにより、複雑なパラメータ計算を行うこと無しにノイズ補正を行える。
【００９８】
また、本発明に係る記録媒体は、前記制御マイコンの管理下に不揮発性メモリを有し、動作保証温度範囲を数範囲に分割し、そのおのおのの分割範囲と前記ノイズレベル補正パラメータとの対応テーブルを前記不揮発性メモリに有し、制御マイコンが前記温度センサ出力がどの温度範囲に属するかを判定し、温度範囲に対応したノイズ補正パラメータを前記不揮発性メモリから読み出して各ブロックに設定する制御マイコンのプログラムを記録するように構成してもよい。
【００９９】
また、本発明に係るデジタルカメラは、入力画素値の値域を２分割し、値域が低い範囲については、入力に対し出力が比例定数が１よりも小さくかつ０より大きい１次式となり、値域が高い範囲に関しては、中間調増幅特性となる入出力特性をもたせるような階調補正特性を有するように構成してもよい。
【０１００】
また、本発明に係るデジタルカメラは、入力画素値の値域を２分割し、値域が低い範囲については、入力に対し出力が比例定数が１よりも小さくかつ０より大きい１次式となり、値域が高い範囲に関しては、中間調増幅特性となる入出力特性をもたせ、２分割の境界をＣ−ＭＯＳイメージセンサのチップ温度によって変更するように構成してもよい。
【０１０１】
また、本発明に係るデジタルカメラは、制御マイコンのプログラムを外部インタフェースより読み込み、制御マイコンが読み出し、書き込み可能な不揮発性メモリに書き込み、実行時に前記プログラムを制御マイコンが読み出し実行するように構成してもよい。
【０１０２】
また、本発明に係る記録媒体は、光電変換を行うＣ−ＭＯＳエリアイメージセンサと、前記Ｃ−ＭＯＳイメージセンサのチップ温度を測定する温度センサと、前記温度センサの出力を入力とし、露光調整、ホワイトバランス調整、ノイズレベル補正を行う制御マイコンと、画像の高品質化ブロックとして、階調補正、エッジ強調処理ブロックとを具備することを特長としたＣ−ＭＯＳデジタルカメラ装置において、前記ノイズレベル補正をＣ−ＭＯＳイメージセンサ出力をアナログ増幅するＡＧＣアンプの制御最大値の制限、および、増幅した後アナログデジタル変換を行うＡ／Ｄ変換器の入力オフセット電圧調節にて行うことを特長としたＣ−ＭＯＳデジタルカメラ装置の制御マイコン用プログラムを記録するように構成してもよい。
【０１０３】
また、上記制御マイコンプログラムを、任意の記録媒体に収録し、外部インタフェースを介して制御マイコンに読み込むことを可能とすることにより、プログラムの開発、改良、アップデートに迅速に対応でき、場所を問わない開発環境を提供することが可能になる。
【０１０４】
また、本発明に係るデジタルカメラおよび画像処理装置は、白点の輝度値が温度依存性を持つことに注目し、ノイズ除去処理パラメータの決定に温度情報を用いるように構成することができる。
【０１０５】
すなわち、本発明に係るデジタルカメラは、撮影した画像を、外部インタフェースを介して外部の画像処理装置に転送する機能を持つＣ−ＭＯＳイメージセンサを搭載したデジタルカメラ装置において、温度依存性の高いＣ−ＭＯＳイメージセンサの白点ノイズに着目し、Ｃ−ＭＯＳイメージセンサのチップ温度を測定する手段を有し、前記温度測定手段による測定結果を格納するレジスタと画像データを格納するレジスタを持つように構成してもよい。
【０１０６】
この構成により、Ｃ−ＭＯＳイメージセンサのチップ温度を測定する手段を有し、前記温度測定手段による測定結果を画像データとともに外部画像処理装置が読み出す手段を提供する。
【０１０７】
それゆえ、カメラより転送されたチップ温度データにより、ホスト装置側の画像処理によってノイズフィルタのフィルタリングパラメータを決定する手段を与える。
【０１０８】
また、本発明に係る画像処理装置は、上記Ｃ−ＭＯＳイメージセンサのチップ温度測定手段による測定結果を読み出し、前記測定値をパラメータとしてノイズ除去処理を行うように構成してもよい。
【０１０９】
この構成により、デジタルカメラに接続され、デジタルカメラで撮影した画像データを読み出すホスト装置が、前記Ｃ−ＭＯＳイメージセンサの温度測定値をパラメータとしてノイズ除去処理を行う。
【０１１０】
それゆえ、このデジタルカメラから読み込むことが出来る温度情報を用いて画像処理のパラメータを決定することが出来、ユーザのカット＆トライによることなく自動的に効果的なフィルタ処理を行うことを可能とする。また、温度データはデジタルカメラから読み込まれるものに限らず、ユーザが入力装置により、任意に与えるものでもよい。
【０１１１】
また、本発明に係る画像処理装置は、Ｃ−ＭＯＳイメージセンサにて光電変換により画像から得られた電気信号を各画素の画素値として処理する画像処理装置において、上記Ｃ−ＭＯＳイメージセンサの温度を測る温度計測手段と、上記温度計測手段にて測られたＣ−ＭＯＳイメージセンサの温度を記憶する温度情報記憶手段とを備えるように構成してもよい。
【０１１２】
また、本発明に係る画像処理装置は、Ｃ−ＭＯＳイメージセンサにて光電変換により画像から得られた電気信号を各画素の画素値として処理する画像処理装置において、上記Ｃ−ＭＯＳイメージセンサの、大きさが温度に依存するノイズが発生しない場合の、最終的に表示される時点の画素の画素値をＤidとするとき、上記Ｃ−ＭＯＳイメージセンサの温度に基づき、上記画素の画像データを、最終的に表示される時点のその画素の画素値が上記Ｄidに近づく方向に補正する画像補正手段を備えるように構成してもよい。
【０１１３】
また、本発明に係る画像処理装置は、Ｃ−ＭＯＳイメージセンサにて光電変換により画像から得られた電気信号を画素の画素値として処理する画像処理装置において、上記Ｃ−ＭＯＳイメージセンサの、大きさが温度に依存するノイズが発生しない場合の、最終的に表示される時点の画素の画素値をＤidとするとき、上記Ｃ−ＭＯＳイメージセンサの温度を測る温度計測手段と、上記Ｃ−ＭＯＳイメージセンサの温度に基づき、上記画素の画像データを、最終的に表示される時点のその画素の画素値が上記Ｄidに近づく方向に補正する画像補正手段とを備えるように構成してもよい。
【０１１４】
上記の構成により、Ｃ−ＭＯＳイメージセンサの、大きさが温度に依存するノイズが発生しない場合の、最終的に表示される時点の画素の画素値をＤidとするとき、Ｃ−ＭＯＳイメージセンサの温度を測り、上記Ｃ−ＭＯＳイメージセンサの温度に基づき、上記画素の画像データを、最終的に表示される時点のその画素の画素値が上記Ｄidに近づく方向に補正する。したがって、昇温して画像のノイズが増大しても、それを効果的に軽減することができる。
【０１１５】
例えば、昇温により必要量以上の電荷が多くなり輝度値が増大してしまう場合でも、画素の輝度値を小さくする方向へ画像データを補正し、それにより、輝度値の増大による白点などのノイズを軽減することができる。
【０１１６】
ここで、所定の補正手順、例えば、式による計算や、あらかじめ用意したデータテーブルの参照などの手順を用いることができる。
【０１１７】
このように、採用するＣ−ＭＯＳイメージセンサ自体の温度−ノイズ特性に委ねるのではなく、Ｃ−ＭＯＳイメージセンサを採用したデジタルカメラ等の画像処理装置システム全体で、ノイズを軽減すべく、好適に画像データを補正している。
【０１１８】
そのため、Ｃ−ＭＯＳイメージセンサの温度上昇によるノイズレベル悪化に対し、Ｃ−ＭＯＳイメージセンサ自体の特性の改良が不要である。また、Ｃ−ＭＯＳイメージセンサの個体ごとに温度特性バラツキが存在していても、これを吸収することができ、個々のＣ−ＭＯＳイメージセンサに対応できる。また、Ｃ−ＭＯＳデジタルカメラで撮影した画像が上記白点を多く含んでいた場合に、画像処理装置に転送した後で、操作者が自分で画像処理の各操作パラメータをカット＆トライにて決める必要がない。
【０１１９】
それゆえ、Ｃ−ＭＯＳイメージセンサの温度上昇によるノイズレベル悪化を容易に軽減でき、温度に関係なくノイズの少ない高品位な画像表示の可能な画像処理を行うことができる。
【０１２０】
また、本発明に係る画像処理装置は、撮影画像内の任意の横３画素、縦３画素より構成される正方形の画素エリアを考え、その注目画素を３×３画素のエリアの中央の画素としたとき、全９画素のＲ、Ｇ、Ｂの値をそれぞれ昇順、または、降順に並べ替えたときの中央のＲ、Ｇ、Ｂ値を求める手段と、前記９画素の輝度平均値を求める手段と、注目画素の輝度値と前記９画素の輝度平均値とを比較し、その差が一定値以上であったときに注目画素のＲ、Ｇ、Ｂを前記９画素のＲＧＢそれぞれの中央の値で置き換える手段を持つように構成してもよい。
【０１２１】
この構成により、撮影画像内の任意の横３画素、縦３画素より構成される正方形の画素エリアを考え、その注目画素を３×３画素の中央画素としたとき、全９画素のＲ、Ｇ、Ｂの値をそれぞれ昇順、または、降順に並べ替えたときの中央のＲ、Ｇ、Ｂ値を求める手段と、前記９画素の輝度平均値を求める手段と、注目画素の輝度値と前記９画素の輝度平均値とを比較し、その差が一定値以上であったときに注目画素のＲ、Ｇ、Ｂを前記９画素のＲＧＢそれぞれの中央値で置き換えることでノイズ除去を行う手段を持つ。
【０１２２】
それゆえ、メディアンフィルタ処理を行う画素を選択し、選択条件に適合した画素についてのみメディアンフィルタ処理を施すことにより、解像度を低下させることなく、白点のみを除去する事が可能である。
【０１２３】
また、本発明に係る画像処理装置は、注目画素の輝度値と前記９画素の輝度平均値とを比較し、その差がある基準値以上であったときに注目画素のＲ、Ｇ、Ｂを前記９画素のＲＧＢそれぞれの中央の値で置き換える際に用いる基準値の算出を、上記外部インタフェースに接続されたデジタルカメラからのＣ−ＭＯＳイメージセンサの温度情報に用いて行うように構成してもよい。
【０１２４】
この構成により、注目画素の輝度値と前記９画素の輝度平均値とを比較し、その差がある基準値以上であったときに注目画素のＲ、Ｇ、Ｂを前記９画素のＲＧＢそれぞれの中央の値で置き換える際に用いる基準値の算出を、上記外部インタフェースに接続されたデジタルカメラからのＣ−ＭＯＳイメージセンサの温度情報に基づいて行う。
【０１２５】
それゆえ、Ｃ−ＭＯＳイメージセンサの温度情報によりメディアンフィルタ処理を行う画素を選択し、選択条件に適合した画素についてのみメディアンフィルタ処理を施すことにより、温度が高いときは、レベルの小さな白点をも除去する事が可能である。
【０１２６】
また、本発明に係る画像処理装置は、注目画素の輝度値と前記９画素の輝度平均値とを比較し、その差がある基準値以上であったときに注目画素のＲ、Ｇ、Ｂを前記９画素のＲＧＢそれぞれの中央の値で置き換える際に用いる基準値の算出を、上記外部インタフェースに接続されたデジタルカメラからのＣ−ＭＯＳイメージセンサの温度情報が、前回の画像読み出し時と同一であれば行わないように構成してもよい。
【０１２７】
また、本発明に係る記録媒体は、Ｃ−ＭＯＳイメージセンサのチップ温度測定手段による測定結果を読み出し、撮影画像内の任意の横３画素、縦３画素より構成される正方形の画素エリアを考え、その注目画素を３×３画素のエリアの中央の画素としたとき、全９画素のＲ、Ｇ、Ｂの値をそれぞれ昇順、または、降順に並べ替えたときの中央のＲ、Ｇ、Ｂ値を求める手段と、前記９画素の輝度平均値を求める手段と、注目画素の輝度値と前記９画素の輝度平均値とを比較し、その差が前記Ｃ−ＭＯＳイメージセンサのチップ温度から決定されるしきい値以上であったときに注目画素のＲ、Ｇ、Ｂを前記９画素のＲＧＢそれぞれの中央の値で置き換えるノイズ除去処理を行う画像処理プログラムを記録するように構成してもよい。
【０１２８】
この構成により、上記温度情報の受信、ノイズ除去パラメータの計算、ノイズ除去処理はプログラムによっても可能であり、パーソナルコンピュータや携帯情報端末等のホスト装置用のプログラムを任意の記録媒体に収録し提供する。
【０１２９】
それゆえ、専用の画像処理装置を準備することなく、パーソナルコンピュータ、携帯情報端末等の一般的なハードウェアによって本発明の画像処理装置を構成することが可能である。
【０１３０】
【発明の効果】
以上のように、本発明の画像処理装置は、上記Ｃ−ＭＯＳイメージセンサの、温度に依存するノイズが発生しない時点の画素の画素値をＤidとするとき、上記Ｃ−ＭＯＳイメージセンサの温度を測る温度計測手段と、上記Ｃ−ＭＯＳイメージセンサの温度の情報が入力され、上記Ｃ−ＭＯＳイメージセンサの温度に基づき、上記画素の画素値が上記Ｄidに近づく方向に補正する画像補正手段とを備えた構成である。
【０１３１】
これにより、Ｃ−ＭＯＳイメージセンサが昇温して画像のノイズが増大しても、それを効果的に軽減することができる。それゆえ、Ｃ−ＭＯＳイメージセンサの温度上昇によるノイズレベル悪化を容易に軽減でき、温度に関係なくノイズの少ない高品位な画像表示の可能な画像処理を行うことができるという効果を奏する。
【０１３２】
また、本発明の画像処理装置は、上記構成において、Ａ／Ｄ変換前後の上記画素の画素値をそれぞれＸ、Ｙとし、上記Ｃ−ＭＯＳイメージセンサの温度によって定まる境界値をＣａとするとき、
Ｘ≦ＣａのときＹ＝０、
Ｃａ＜ＸのときＹ＝Ｘ−Ｃａ
を満たすようにＡ／Ｄ変換するＡ／Ｄ変換器を備え、上記画像補正手段が、上記Ｃ−ＭＯＳイメージセンサの昇温につれて上記Ｃａを増加させる構成である。
【０１３３】
これにより、画素値が高い部分では比較的高い画素値が保たれる一方、ある境界値Ｃａを境にして、低い部分では、元の画素値に関係なく変換後の画素値が０となり、明るい部分と暗い部分との差がより強調される。それゆえ、上記の構成による効果に加えて、Ｃ−ＭＯＳイメージセンサの温度上昇によるノイズゆえに白点化などのように全体的に輝度が高くなるのを防止し、画像のコントラストをより良好に、よりきめ細かく高めることができ、より高品位表示化することができるという効果を奏する。
【０１３４】
また、本発明の画像処理装置は、上記構成において、階調補正前後の上記画素の画素値をそれぞれＸ、Ｙとし、上記Ｃ−ＭＯＳイメージセンサの温度によって定まる境界値をＣｇとするとき、定数ｇ、０＜ｐ＜１を満たす定数ｐ、０＜ｒ＜１を満たす定数ｒに対し、
Ｘ≦ＣｇのときＹ＝ｐＸ、
Ｃｇ＜ＸのときＹ＝ｇ・｛（Ｘ−Ｃｇ）／（ｇ−Ｃｇ）｝r ＋ｐＣｇ
を満たすように階調補正する階調補正処理部を備え、上記画像補正手段が、上記Ｃ−ＭＯＳイメージセンサの昇温につれて上記Ｃｇを増加させる構成である。
【０１３５】
これにより、画素値が中程度の部分では、元の画素値より画素値が大きくなり、画素値が高い部分では、その大きくなる度合いが徐々に小さくなり、一方、ある境界値Ｃｇを境にして、低い部分では、元の画素値より画素値が小さくなり、明るい部分と暗い部分との差がより強調される。それゆえ、上記の構成による効果に加えて、Ｃ−ＭＯＳイメージセンサの温度上昇によるノイズゆえに白点化などのように全体的に輝度が高くなるのを防止し、画像のコントラストをより良好に、よりきめ細かく高めることができ、より高品位表示化することができるという効果を奏する。
【０１３６】
また、本発明の画像処理装置は、上記構成において、上記画像補正手段が、上記Ｃ−ＭＯＳイメージセンサの温度によって定まる基準値Ｙｄを、上記Ｃ−ＭＯＳイメージセンサの昇温につれて減少させ、１画像サイズ分の画素内の任意の横３画素、縦３画素より構成される画素エリアを考え、注目画素をその３×３画素エリアの中央の画素としたとき、全９画素のそれぞれ赤、緑、青の画素値であるＲ値、Ｇ値、Ｂ値をそれぞれ昇順または降順に並べ替えたときのＲ値、Ｇ値、Ｂ値それぞれにおける中央値Ｒｃ、Ｇｃ、Ｂｃを求め、各色において、上記９画素の輝度平均値Ｙｎを求め、上記注目画素の輝度値Ｙｍと上記９画素の輝度平均値Ｙｎとを比較し、その差が上記基準値Ｙｄ以上であるときに、上記注目画素のＲ値、Ｇ値、Ｂ値をそれぞれ上記９画素の中央値Ｒｃ、Ｇｃ、Ｂｃで置き換える構成である。
【０１３７】
これにより、昇温するほどノイズが高くなり白点など輝度が高すぎる画素が増えるという現象に対して、処理される画素も増える。それゆえ、上記の構成による効果に加えて、昇温により白点などの画像のノイズが増えても、それをより容易かついっそう効果的に抑制することができるという効果を奏する。
【０１３８】
また、本発明の画像処理装置は、上記構成において、上記画像補正手段が、計測した上記Ｃ−ＭＯＳイメージセンサの温度が前回の計測時と同一であるか否かを調べ、今回計測した上記Ｃ−ＭＯＳイメージセンサの温度が前回の計測時と同一であるときは、上記基準値Ｙｄとして、前回の計測時の値を用いる構成である。
【０１３９】
上記の構成により、今回計測した上記Ｃ−ＭＯＳイメージセンサの温度が、前回の計測時と同一であるときは、上記基準値Ｙｄとして、前回の計測時の値を用いる。したがって、その分処理を簡略化することができる。それゆえ、上記の構成による効果に加えて、より容易に、Ｃ−ＭＯＳイメージセンサの温度に応じて適切な画像処理を行うことができるという効果を奏する。
【図面の簡単な説明】
【図１】 本発明に係るＣ−ＭＯＳイメージセンサ搭載のデジタルカメラのシステム内部の一構成例を示すブロック図である。
【図２】 温度センサ出力と制御マイコンの設定値との対応テーブルを示す説明図である。
【図３】 Ａ／Ｄ変換器の入力特性を表すＡ／Ｄ変換曲線を示すグラフである。
【図４】 階調補正特性を表す階調補正曲線を示すグラフである。
【図５】 エッジ強調の演算単位となる画素を示す説明図である。
【図６】 本発明による画像読み込み処理および温度に基づく画像補正処理の手順を示すフローチャートである。
【図７】 本発明に係るＣ−ＭＯＳイメージセンサ搭載のデジタルカメラのシステム内部の他の構成例を示すブロック図である。
【図８】 外部のホスト装置がデジタルカメラから画像情報を読み出すのに用いる画像読み出しレジスタの構成を示す説明図である。
【図９】 本発明の画像処理装置の一構成例を示すブロック図である。
【図１０】 本発明のデジタルカメラおよびそれを装着するホスト装置の外観を示す平面図である。
【図１１】 本発明の画像処理装置をプログラムによって構成したときにそのプログラムを記録したカード型記録媒体の一構成例を示す平面図である。
【図１２】 Ｃ−ＭＯＳイメージセンサのチップ温度から、ノイズ除去フィルタ処理を行うか否かを決定するためのしきい値を計算する様子を示すグラフである。
【図１３】 本発明におけるノイズ除去フィルタの動作を示す説明図である。
【図１４】 本発明による画像読み込み処理および温度に基づく画像補正処理の手順を示すフローチャートである。
【符号の説明】
１ Ｃ−ＭＯＳイメージセンサ
２ 温度センサ（温度計測手段）
３ 制御マイコン（画像補正手段）
４ ＡＧＣアンプ
５ Ａ／Ｄ変換器
６ 信号処理ＤＳＰ（画像補正手段）
６ａ 画像補正処理部
６ｂ 階調補正処理部
６ｃ エッジ強調処理部
７ メモリコントローラ
８ フレームメモリ
９ ホストインタフェース
９ａ 画像読み出しレジスタ（温度情報記憶手段）
１０ 外部コネクタ
１１ ＥＥＰＲＯＭ
５０ 画像処理装置
５１ 表示部
５２ キー
５３ キー
５４ インタフェースコネクタ
６０ Ｃ−ＭＯＳデジタルカメラ
６１ 外部コネクタ
６２ Ｃ−ＭＯＳイメージセンサ
２０１ ＣＰＵ
２０２ 表示装置
２０３ ユーザ入力装置
２０４ フレームメモリ
２０５ 演算用メモリ
２０６ マスクＲＯＭ
２０７ ユーザデータ記憶メモリ
２０８ 外部インタフェース
２０９ 外部記憶装置
２１０ インタフェースコネクタ
Claims (3)
- Ｃ−ＭＯＳイメージセンサにて光電変換により画像から得られた電気信号を各画素の画素値として処理する画像処理装置において、
上記Ｃ−ＭＯＳイメージセンサの、温度に依存するノイズが発生しない時点の画素の画素値をＤidとするとき、
上記Ｃ−ＭＯＳイメージセンサの温度を測る温度計測手段と、
上記Ｃ−ＭＯＳイメージセンサの温度の情報が入力され、上記Ｃ−ＭＯＳイメージセンサの温度に基づき、上記画素の画素値が上記Ｄidに近づく方向に補正する画像補正手段とを備え、
上記画像補正手段は、
上記Ｃ−ＭＯＳイメージセンサの温度によって定まる基準値Ｙｄを、上記Ｃ−ＭＯＳイメージセンサの昇温につれて減少させ、
１画像サイズ分の画素内の任意の横３画素、縦３画素より構成される画素エリアを考え、注目画素をその３×３画素エリアの中央の画素としたとき、全９画素のそれぞれ赤、緑、青の画素値であるＲ値、Ｇ値、Ｂ値をそれぞれ昇順または降順に並べ替えたときのＲ値、Ｇ値、Ｂ値それぞれにおける中央値Ｒｃ、Ｇｃ、Ｂｃを求め、
各色において、上記９画素の輝度平均値Ｙｎを求め、上記注目画素の輝度値Ｙｍと上記９画素の輝度平均値Ｙｎとを比較し、その差が上記基準値Ｙｄ以上であるときに、上記注目画素のＲ値、Ｇ値、Ｂ値をそれぞれ上記９画素の中央値Ｒｃ、Ｇｃ、Ｂｃで置き換えることを特徴とする画像処理装置。 - Ａ／Ｄ変換前後の上記画素の画素値をそれぞれＸ、Ｙとし、上記Ｃ−ＭＯＳイメージセンサの温度によって定まる境界値をＣａとするとき、
Ｘ≦ＣａのときＹ＝０、
Ｃａ＜ＸのときＹ＝Ｘ−Ｃａ
を満たすようにＡ／Ｄ変換するＡ／Ｄ変換器を備え、
上記画像補正手段が、上記Ｃ−ＭＯＳイメージセンサの昇温につれて上記Ｃａを増加させることを特徴とする請求項１に記載の画像処理装置。 - 上記画像補正手段が、計測した上記Ｃ−ＭＯＳイメージセンサの温度が前回の計測時と同一であるか否かを調べ、今回計測した上記Ｃ−ＭＯＳイメージセンサの温度が前回の計測時と同一であるときは、上記基準値Ｙｄとして、前回の計測時の値を用いることを特徴とする請求項１に記載の画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000213178A JP4409063B2 (ja) | 2000-07-13 | 2000-07-13 | 画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000213178A JP4409063B2 (ja) | 2000-07-13 | 2000-07-13 | 画像処理装置 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2002033892A JP2002033892A (ja) | 2002-01-31 |
| JP2002033892A5 JP2002033892A5 (ja) | 2007-08-30 |
| JP4409063B2 true JP4409063B2 (ja) | 2010-02-03 |
Family
ID=18708976
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000213178A Expired - Fee Related JP4409063B2 (ja) | 2000-07-13 | 2000-07-13 | 画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4409063B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4496976B2 (ja) * | 2005-02-04 | 2010-07-07 | 日本電気株式会社 | ノイズ軽減回路 |
| JP2007202067A (ja) * | 2006-01-30 | 2007-08-09 | Fujifilm Corp | 固体撮像装置及びデジタルカメラ |
| JP4861732B2 (ja) * | 2006-03-27 | 2012-01-25 | 京セラ株式会社 | 画像処理装置、画像読取装置及び携帯電話機 |
| JP5103984B2 (ja) * | 2007-03-29 | 2012-12-19 | 株式会社ニコン | 画像処理装置、撮像装置、および画像処理プログラム |
| JP2011229102A (ja) * | 2010-04-23 | 2011-11-10 | Konica Minolta Opto Inc | 撮像装置および撮像装置の温度特性補正方法 |
| JP5870214B2 (ja) * | 2012-12-14 | 2016-02-24 | 発紘電機株式会社 | プログラマブルコントローラシステム、そのプログラマブル表示器、支援装置、プログラム |
-
2000
- 2000-07-13 JP JP2000213178A patent/JP4409063B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002033892A (ja) | 2002-01-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7133072B2 (en) | Image processing apparatus having an image correction circuit and its processing method | |
| JP5157753B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム | |
| JP5275122B2 (ja) | ダイナミックレンジ圧縮装置、ダイナミックレンジ圧縮方法、プログラム、集積回路および撮像装置 | |
| JP5231734B2 (ja) | イメージセンサー及びイメージ明るさ分布調節方法 | |
| JP4994825B2 (ja) | 撮像装置及びその制御方法及びプログラム及び記憶媒体 | |
| JP5337049B2 (ja) | デジタル画像内の位置に依存するノイズの低減 | |
| US20070206108A1 (en) | Picture displaying method, picture displaying apparatus, and imaging apparatus | |
| JP2010009583A5 (ja) | ||
| JP4992698B2 (ja) | 色収差補正装置、撮像装置、色収差算出方法および色収差算出プログラム | |
| CN104469138A (zh) | 图像处理装置以及图像处理方法 | |
| US8155472B2 (en) | Image processing apparatus, camera, image processing program product and image processing method | |
| JP4433883B2 (ja) | ホワイトバランス補正装置及びホワイトバランス補正方法、プログラム、電子カメラ装置 | |
| JP2006005912A (ja) | 撮像装置、ノイズ除去方法およびノイズ除去プログラム | |
| JP5932068B1 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム | |
| JP4409063B2 (ja) | 画像処理装置 | |
| JP2003219205A (ja) | 撮像装置、表示装置、画像記録装置および画質補正方法 | |
| KR100967742B1 (ko) | 이미지센서의 색 보간 방법 | |
| JP5142833B2 (ja) | 画像処理装置及び画像処理方法 | |
| JPH10322592A (ja) | 電子カメラの制御方法及び装置 | |
| JP2010273378A (ja) | 撮像装置、ノイズ除去方法およびノイズ除去プログラム | |
| JP4307862B2 (ja) | 信号処理方法、信号処理回路、及び撮像装置 | |
| JP2003101884A (ja) | シェーディング補正装置および方法 | |
| JP4439841B2 (ja) | 撮像装置及びその画像処理方法 | |
| JP4507719B2 (ja) | 画像処理装置および画像処理プログラム | |
| KR100607803B1 (ko) | 이미지센서의 색 보간 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070713 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070713 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20070713 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090708 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090818 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091016 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091110 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091111 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121120 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121120 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131120 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |