JP4784397B2

JP4784397B2 - 撮像装置

Info

Publication number: JP4784397B2
Application number: JP2006146698A
Authority: JP
Inventors: 和子中川
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 2006-05-26
Filing date: 2006-05-26
Publication date: 2011-10-05
Anticipated expiration: 2026-05-26
Also published as: JP2007318502A

Description

本発明は、入射光を電気信号に変換する撮像素子を有する撮像装置に関する。

従来、デジタルカメラなどの撮像装置には、入射光を電気信号に変換する複数の画素を有する撮像素子が設けられている。また近年では、入射光量に基づいて入射光を電気信号に線形変換する線形変換動作と対数変換する対数変換動作とを切り換える撮像素子（リニアログ変換型センサ）が提案されている。このリニアログ変換型センサによれば、線形変換動作のみを行う撮像素子と比較して電気信号のダイナミックレンジが広くなるため、輝度範囲の広い被写体を撮影した場合でも全輝度情報を電気信号で表現することができる。

しかし、リニアログ変換型センサの出力には対数変換動作由来の電気信号と線形変換動作由来の電気信号が含まれるため、演算処理が複雑になるという問題があった。そこで、対数変換動作由来の電気信号を線形変換動作由来の状態に変換するか、或いは線形変換動作由来の電気信号を対数変換動作由来の状態に変換する特性変換を行う信号処理部を設けて、電気信号全体を線形変換動作由来又は対数変換動作由来の状態に統一して電気信号の処理を容易化する撮像装置が提案されている。

また、リニアログ変換型センサの入出力特性は、撮像素子又はその近傍の温度変化に起因して変動するという特性を有する。そこで、このような温度変化が撮像素子の入出力特性に影響しないように、撮像素子の入出力特性の変動補正を行う撮像装置が提案されている（特許文献１）。すなわち、特許文献１に記載の撮像装置では、対数変換動作由来の電気信号を線形変換動作由来の電気信号に変換する特性変換を演算によって実現しており、雰囲気温度の変化に応じて演算内容を変化させることによって、電気信号の入出力特性のばらつきを補正している。
特開２００４−３５６８６６号公報

しかしながら、従来のような撮像装置をディジタルカメラ等の製品に搭載する場合、温度による変動補正を行うためには、温度センサ等の温度検出器をイメージセンサ近傍に設けて温度変化を検出する必要がある。また、低コスト化のために安価な温度検出器を用いると、温度検出器固有の測定誤差の影響が大きく、正確な温度を取得できないおそれがあるという問題があった。

本発明はこのような点に鑑みてなされたものであり、温度検出器による温度のノイズの影響を低減し、より正確な変動補正を行い、使用する温度検出器に関わらずノイズの少ない高品位な画像信号を出力する撮像装置を提供することを目的とするものである。

前記課題を解決するために、請求項１に記載の発明は、撮像装置において、
入射光を電気信号に変換する感光素子を備えた複数の画素を有する撮像素子と、
前記撮像素子の温度を検出する温度検出器と、
前記撮像素子から出力される電気信号に対して信号処理を行う信号処理部とを備え、
前記信号処理部は、
温度補正を行うべき範囲内で前記温度検出器により検出した複数の過去の温度データをもとに、温度変化に起因して変動する前記撮像素子の出力電気信号の変動補正を行う変動補正部を備えることを特徴とする。

請求項１に記載の発明によれば、撮像時の撮像素子又はその近傍の温度変化に起因して撮像素子の入出力特性が変動する場合、温度補正すべき範囲内で温度検出器が検出した複数の過去の温度データをもとに出力信号の変動補正を行うので、出力信号から温度に影響される成分を除去することができるとともに、温度検出器で検出した温度のノイズ成分を除去することができる。従って、撮像時の撮像素子又はその近傍の温度変化、および、使用する温度検出器に関わらず、ノイズの少ない画像信号を得ることができる。

請求項２に記載の発明は、請求項１に記載の撮像装置において、
前記信号処理部は、前記温度検出器で検出した複数の過去の温度データの平均値を算出する平均値算出部を備えることを特徴とする。

請求項２に記載の発明によれば、温度補正すべき範囲内で温度検出器が検出した複数の過去の温度データの平均値をもとに出力信号の変動補正を行うので、出力信号から温度に影響される成分を除去することができるとともに、温度検出器で検出した温度のノイズ成分を除去することができる。従って、温度補正すべき範囲内の温度データの平均値に基づいて、撮像時の撮像素子又はその近傍の温度変化、および、使用する温度検出器に関わらず、ノイズの少ない画像信号を得ることができる。

請求項３に記載の発明は、請求項１又は２に記載の撮像装置において、
前記信号処理部は、前記温度検出器で検出した複数の過去の温度データを保持する温度記憶部を備えることを特徴とする。

請求項３に記載の発明によれば、温度記憶部により、温度補正すべき範囲内で温度検出器が検出した複数の過去の温度データを保持させ、該温度データをもとに出力信号の変動補正を行うので、出力信号から温度に影響される成分を除去することができるとともに、温度検出器で検出した温度のノイズ成分を除去することができる。従って、温度補正すべき範囲内の温度データを複数保持し、撮像時の撮像素子又はその近傍の温度変化、および、使用する温度検出器に関わらず、ノイズの少ない画像信号を得ることができる。

請求項４に記載の発明は、請求項１〜３のいずれか一項に記載の撮像装置において、
前記信号処理部は、前記温度検出器で検出した過去の温度データをもとに、それ以降の温度を予測して設定する温度予測部を備えることを特徴とする。

請求項４に記載の発明によれば、温度予測部により予測した未測定の温度データをもとに、出力信号の変動補正を行うので、出力信号から温度に影響される成分を除去することができるとともに、温度検出器で検出した温度のノイズ成分を除去することができる。従って、未測定の範囲の温度データを予測し、撮像時の撮像素子又はその近傍の温度変化、および、使用する温度検出器に関わらず、ノイズの少ない画像信号を得ることができる。

請求項５に記載の発明は、請求項４に記載の撮像装置において、
前記信号処理部は、前記温度検出器によって検出した過去の温度データがノイズか否かを判別するノイズ判別部を備えており、
前記温度予測部は、前記ノイズ判別部でノイズと決定した温度に対して、過去の温度データをもとに、正しい温度を予測して設定することを特徴とする。

請求項５に記載の発明によれば、ノイズ判別部によりノイズ成分が検出され、温度予測部が該ノイズ成分を除去した温度データをもとに、出力信号の変動補正を行うので、出力信号から温度に影響される成分を除去することができるとともに、温度検出器で検出した温度のノイズ成分を除去することができる。従って、ノイズ成分を除去した正確な温度データを予測し、撮像時の撮像素子又はその近傍の温度変化、および、使用する温度検出器に関わらず、ノイズの少ない画像信号を得ることができる。

請求項６に記載の発明は、請求項１〜５のいずれか一項に記載の撮像装置において、
前記信号処理部は、前記温度検出器で検出した複数の過去の温度データをもとに、フレーム単位で、前記変動補正部で使用する温度を設定することを特徴とする。

請求項６に記載の発明によれば、フレーム単位で出力信号の変動補正を行うので、フレーム内でノイズの少ない画像信号を得ることができる。

請求項７に記載の発明は、請求項１〜５のいずれか一項に記載の撮像装置において、
前記信号処理部は、前記温度検出器で検出した複数の過去の温度データをもとに、水平ライン単位で、前記変動補正部で使用する温度を設定することを特徴とする。

請求項７に記載の発明によれば、水平ライン単位で出力信号の変動補正を行うので、温度補正すべき範囲の大きさに関わらず、ノイズの少ない画像信号を得ることができる。

請求項８に記載の発明は、請求項１〜７のいずれか一項に記載の撮像装置において、
前記変動補正部は、温度に基づいて補正係数を導出する係数導出部と、前記補正係数に基づいて前記変動補正を行う演算処理部と、を備え、
前記係数導出部は、入力される現入力温度と前回に入力された入力温度とを比較し、これらが一致するときは、前回入力時に係数導出部で導出した補正係数を用いることを特徴とする。

請求項８に記載の発明によれば、係数導出部への現入力温度とその前回の入力温度とを比較し、これらが一致するときは、前回入力時に係数導出部で導出した補正係数を用いるので、その分処分を簡略化することができ、消費電力を低減させることができる。

請求項９に記載の発明は、請求項１〜８のいずれか一項に記載の撮像装置において、
前記撮像素子は、入射光を電気信号に線形変換する線形変換モードと、対数変換する対数変換モードとを、入射光量に基づいて切り替える複数の画素を有することを特徴とする。

請求項９に記載の発明によれば、撮像素子は、線形変換モードと対数変換モードを備え、入射光量に基づいて切り替えて変動補正を行うため、より正確な変動補正を行うことができるとともに、撮影時の撮像素子またはその近傍の温度変化、および、使用する温度検出器に関係なくノイズの少ない画像信号を得ることができる。

請求項２に記載の発明によれば、請求項１と同様の効果をえることができる。

請求項３に記載の発明によれば、請求項１と同様の効果をえることができる。

請求項４に記載の発明によれば、請求項１と同様の効果をえることができる。

請求項５に記載の発明によれば、ノイズ判別部が温度データのノイズ成分の有無を判別し、温度予測部が当該ノイズ成分のない正しい温度を予測するので、正しい温度に基づいて出力信号の変動補正を行うことができる。

請求項８に記載の発明によれば、入力温度が変化しない場合は同じ補正係数を用いるので、補正係数の導出回数の低減が可能であり、処理を簡略化することができる。処理を簡略化することにより、メモリへのアクセス数の減少等が可能であり、消費電力が減少する。

請求項９に記載の発明によれば、線形変換モードと対数変換モードを備え、入射光量に基づいて切り替えて変動補正を行うため、より正確な変動補正を行うことができる。

［第１の実施形態］
以下に、本発明に係る撮像装置の第１の実施形態について、図面を参照して説明する。ただし、発明の範囲を図示例に限定するものではない。

図１に示すように、撮像装置１は、レンズ系２及び絞り３を介して入射光を受光する撮像素子４を備えている。これらレンズ系２及び絞り３としては、従来より公知のものが用いられている。

撮像素子４は、図２に示すように、行列配置（マトリクス配置）された複数の画素Ｇ₁₁〜Ｇ_mn（但し、ｎ，ｍは１以上の整数）を有している。

各画素Ｇ₁₁〜Ｇ_mnは、入射光を光電変換して電気信号を出力するものである。これら画素Ｇ₁₁〜Ｇ_mnは、入射光量に基づいて電気信号への変換動作を切り換えるようになっており、後述のように、所定入射光量未満の入射光量に対しては入射光を線形変換する線形変換動作を、所定入射光量以上の入射光量に対しては入射光を対数変換する対数変換動作を行うようになっている。

これら画素Ｇ₁₁〜Ｇ_mnのレンズ系２側には、それぞれレッド（Red）、グリーン（Green）及びブルー（Blue）のうち何れか１色のフィルタ（図示せず）が配設されている。また、画素Ｇ₁₁〜Ｇ_mnには、図２に示すように、電源ライン５や信号印加ラインＬ_A1〜Ｌ_An，Ｌ_B1〜Ｌ_Bn，Ｌ_C1〜Ｌ_Cn、信号読出ラインＬ_D1〜Ｌ_Dmが接続されている。なお、画素Ｇ₁₁〜Ｇ_mnにはクロックラインやバイアス供給ラインなどのラインも接続されているが、図２ではこれらの図示を省略している。

信号印加ラインＬ_A1〜Ｌ_An，Ｌ_B1〜Ｌ_Bn，Ｌ_C1〜Ｌ_Cnは、画素Ｇ₁₁〜Ｇ_mnに対して信号φ_v，φ_VPS（図３参照）を与えるようになっている。これら信号印加ラインＬ_A1〜Ｌ_An，Ｌ_B1〜Ｌ_Bn，Ｌ_C1〜Ｌ_Cnには、垂直走査回路６が接続されている。この垂直走査回路６は、後述の信号生成部３１（図１参照）からの信号に基づいて信号印加ラインＬ_A1〜Ｌ_An，Ｌ_B1〜Ｌ_Bn，Ｌ_C1〜Ｌ_Cnに信号を印加するものであり、信号を印加する対象の信号印加ラインＬ_A1〜Ｌ_An，Ｌ_B1〜Ｌ_Bn，Ｌ_C1〜Ｌ_CnをＸ方向に順次切り換えるようになっている。

信号読出ラインＬ_D1〜Ｌ_Dmには、各画素Ｇ₁₁〜Ｇ_mnで生成された電気信号が導出されるようになっている。これら信号読出ラインＬ_D1〜Ｌ_Dmには定電流源Ｄ₁〜Ｄ_m及び選択回路Ｓ₁〜Ｓ_mが接続されている。

定電流源Ｄ₁〜Ｄ_mの一端（図中下側の端部）には、直流電圧Ｖ_PSが印加されるようになっている。

選択回路Ｓ₁〜Ｓ_mは、各信号読出ラインＬ_D1〜Ｌ_Dmを介して画素Ｇ₁₁〜Ｇ_mnから与えられるノイズ信号と撮像時の電気信号とをサンプルホールドするものである。これら選択回路Ｓ₁〜Ｓ_mには水平走査回路７及び補正回路８が接続されている。水平走査回路７は、電気信号をサンプルホールドして補正回路８に送信する選択回路Ｓ₁〜Ｓ_mを、Ｙ方向に順次切り換えるものである。また、補正回路８は、選択回路Ｓ₁〜Ｓ_mから送信されるノイズ信号及び撮像時の電気信号に基づき、当該電気信号からノイズ信号を除去するものである。

なお、選択回路Ｓ₁〜Ｓ_m及び補正回路８としては、特開平２００１−２２３９４８号公報に開示のものを用いることができる。また、本実施形態においては、選択回路Ｓ₁〜
Ｓ_mの全体に対して補正回路８を１つのみ設けることとして説明するが、選択回路Ｓ₁〜Ｓ_mのそれぞれに対して補正回路８を１つずつ設けることとしてもよい。

続いて、本実施形態における画素Ｇ₁₁〜Ｇ_mnについて説明する。

各画素Ｇ₁₁〜Ｇ_mnは、図３に示すように、フォトダイオードＰ及びトランジスタＴ₁〜
Ｔ₃を備えている。なお、トランジスタＴ₁〜Ｔ₃は、バックゲートの接地されたＮチャネ
ルのＭＯＳトランジスタである。

フォトダイオードＰには、レンズ系２及び絞り３を通過した光が当たるようになっている。このフォトダイオードＰのカソードＰ_kには直流電圧Ｖ_PDが印加されており、アノー
ドＰ_AにはトランジスタＴ₁のドレインＴ_1D及びゲートＴ_1Gと、トランジスタＴ₂のゲート
Ｔ_2Gとが接続されている。

トランジスタＴ₁のソースＴ_1Sには信号印加ラインＬ_C（図２のＬ_C1〜Ｌ_Cnに相当）が接続されており、この信号印加ラインＬ_Cから信号φ_VPSが入力されるようになっている。ここで、信号φ_VPSは２値の電圧信号であり、より詳細には、入射光量が所定値を超えたと
きにトランジスタＴ₁をサブスレッショルド領域で動作させるための電圧値ＶＨと、トラ
ンジスタＴ₁を導通状態にする電圧値ＶＬとの２つの値をとるようになっている。

本実施形態の撮像素子４は、入射光量が所定の閾値を超えたときは各画素Ｇ_ｍ１〜Ｇ_mnのトランジスタＴ₁をサブスレッショルド領域で動作させることによって、入射光を自然
対数で対数変換した電圧として読み出すことができるようになっている。これにより、撮像素子４の出力信号は、図４に示すように、入射光量に応じて線形領域及び対数領域が連続的に変化するようになっている。

また、図３に示すように、トランジスタＴ₂のドレインＴ_2Dには直流電圧Ｖ_PDが印加さ
れており、トランジスタＴ₂のソースＴ_2Sは行選択用のトランジスタＴ₃のドレインＴ_3Dに接続されている。

更に、トランジスタＴ₃のゲートＴ_3Gには信号印加ラインＬ_A（図２のＬ_A1〜Ｌ_Anに相当）が接続されており、信号印加ラインＬ_Aから信号φ_Vが入力されるようになっている。また、トランジスタＴ₃のソースＴ_3Sは信号読出ラインＬ_D（図２のＬ_D1〜Ｌ_Dmに相当）に接続されている。

なお、以上のような画素Ｇ₁₁〜Ｇ_mnとしては、特開２００２−７７７３３号公報に開示のものを用いることができる。

ここで、本実施形態の撮像素子４の電気信号の入出力特性は、撮像素子４又はその近傍の温度変化に起因して変化する。具体的には、図５に示すように、撮像素子４又はその近傍の温度がｔ_１〜ｔ_３の順で小さくなるほど、曲線（１）〜（３）の順で線形変換動作と対数変換動作とが切り換えられる境界、いわゆる変曲点における出力信号値（変曲出力信号値Ｈ）は大きくなり、対数領域の傾きは小さくなる。

これは、撮像素子４又はその近傍の温度が低くなるほどトランジスタＴ_１のゲートＴ_1GとソースＴ_1Sとのポテンシャルの差が大きくなり、トランジスタＴ_１がカットオフ状態で動作する被写体輝度の割合、すなわち線形変換する被写体輝度の割合が大きくなるためである。

したがって、撮像素子４又はその近傍の温度を変化させることにより、画像信号のダイナミックレンジや変曲点での所定入射光量、変曲出力信号値Ｈ（図４参照）を制御することができる。具体的には、例えば、被写体の輝度範囲が狭い場合は前記温度を低くして線形変換する輝度範囲を広くし、被写体の輝度範囲が広い場合には前記温度を高くして対数変換する輝度範囲を広くして、画素Ｇ₁₁〜Ｇ_mnの光電変換特性を被写体の特性に合わせることができる。また、常に画素Ｇ₁₁〜Ｇ_mnが線形変換動作を行う状態又は常に画素Ｇ₁₁〜Ｇ_mnが対数変換動作を行う状態とすることも可能である。

なお、露光時間が短くなる場合や、信号φ_VPSの電圧値ＶＬ，ＶＨの差が大きくなる場
合にも、線形変換する被写体輝度の割合は大きくなるため、制御電圧や露光時間を変化させることによって画素Ｇ₁₁〜Ｇ_mnの光電変換特性を変更することも可能である。

図５において、撮像素子４又はその近傍の温度ｔ_１〜ｔ_３における撮像素子４の対数出力信号ｙ_１〜ｙ_３は、それぞれ下記式（１）〜（３）によって表される。

上記式（１）〜（３）において、ｃ_１〜ｃ_３は対数出力信号の傾き、ｄ_１〜ｄ_３は対数出力信号の切片であり、それぞれ温度ｔ_１〜ｔ_３に対応する定数である。なお、上記式（１）〜（３）の傾きｃ_１〜ｃ_３又は切片ｄ_１〜ｄ_３の値は、画素Ｇ₁₁〜Ｇ_mnの特性により、画素Ｇ₁₁〜Ｇ_mnごとに異なる場合がある。

以下、線形変換動作の行われる割合が最も小さく、対数変換動作の行われる割合が最も大きいときの温度ｔ_１を基準温度とする。

次に、図１に示すように、撮像素子４にはアンプ９及びＡＤコンバータ（ＡＤＣ）１０を介して黒基準設定部１１が接続されている。

黒基準設定部１１は、デジタル信号の最低レベルを設定するものである。

また、図１に示すように、撮像装置１は温度検出器１２を備えている。温度検出器１２は、温度の変化に応じて抵抗値が変化する特性を有するサーミスタなどの温度センサを備えており、撮像素子４の各画素Ｇ_１１〜Ｇ_ｍｎ又はその近傍の温度を検出するようになっている。

次に、黒基準設定部１１には信号処理部１３が接続されている。信号処理部１３は、対数変換動作によって撮像素子４から出力される電気信号に対して信号処理を行うものである。図６に示すように、信号処理部１３は、温度検出器１２に接続される平均値算出部１４と、撮像素子４から出力される電気信号が入力される変動補正部１５と、を備えている。

平均値算出部１４は、温度補正をするべき範囲内で温度検出器１２により検出した一定範囲における過去の複数の温度データの平均値を一定期間経過毎に算出し、その算出結果を変動補正部１５に出力するものである。ここで、一定範囲とは、温度補正を行うべき領域の範囲のことであり、一定範囲における過去の複数の温度データとは温度補正を行うべき領域内にある画素又はその近傍の温度データであって少なくとも２つ以上の温度データのことである。

変動補正部１５は、撮像素子４の前記駆動条件、本実施形態においては撮像素子４又はその近傍の温度変化に起因して撮像素子４の入出力特性が変動する場合に、平均値算出部１４で算出した平均値に基づいて補正係数を導出し、撮像素子４から出力される電気信号の変動補正を行うものである。変動補正部１５は、それぞれ撮像素子４が備える複数の画素に対応づけて設けられており、複数の画素ごとに異なる信号処理を行うことも可能となっている。

変動補正部１５は、図６に示すように、係数導出部１６と演算処理部１７とを備えている。

係数導出部１６は、撮像素子４の入出力特性の変動を補正するための補正係数を、平均値算出部１４で算出した平均値に基づいて導出するものである。係数導出部１６には、平均値算出部１４で算出された温度の平均値に基づき、補正係数として、基準温度及び検出された温度における、上記式（１）〜（３）の対数出力信号の傾きｃ_１〜ｃ_３及び対数出力信号の切片ｄ_１〜ｄ_３を演算により導出する演算処理部１６ａが備えられている。

これらの補正係数は前記平均値に応じて変化するものであり、例えば、撮像時において算出された温度の平均値が温度ｔ_２（図５参照）であった場合は、係数導出部１６は、基準温度ｔ_１における対数出力信号の係数ｃ_１及びｄ_１のほか、温度ｔ_２における対数出力信号の係数ｃ_２及びｄ_２を演算により導出するようになっている。

ここで、補正係数としての対数出力信号の傾きｃ_１〜ｃ_３及び対数出力信号の切片ｄ_１〜ｄ_３は、温度ｔ_１〜ｔ_３との関係式で表すことができる。したがって、演算処理部１６ａは、この関係式により温度ｔ_１〜ｔ_３に対応する対数出力信号の傾きｃ_１〜ｃ_３及び対数出力信号の切片ｄ_１〜ｄ_３を演算することが可能となっている。

例えば、撮像時の温度ｔと対数出力信号の傾きｃとは、下記式（４）で表され、対数出力信号の傾きｃは、温度ｔが小さくなるほど小さくなっている。

また、撮像時の温度ｔと対数出力信号の切片ｄとは、下記式（５）で表され、対数出力信号の切片ｄは、温度ｔが小さくなるほど大きくなっている。

また、係数導出部１６は、変動補正部１５に入力される平均温度と前回に入力された平均温度とを比較し、これらが一致する場合は、係数導出の処理を行わず、前回入力時に導出された補正係数を出力するようになっている。このように、平均温度が一致する場合は前回入力時に導出された補正係数を用いることにより、補正係数の導出する回数を減らすことができる。

次に、演算処理部１７は、係数導出部１６で導出された補正係数に基づいて、画素Ｇ₁₁〜Ｇ_mnごとに電気信号の入出力特性の変動補正を行うものである。本実施形態では、変曲出力信号値Ｈより大きい電気信号、すなわち対数変換動作によって各画素Ｇ₁₁〜Ｇ_mnから出力される電気信号に、所定の変動方程式を用いた演算を行うようになっている。これにより、変動補正された対数変換動作由来の電気信号は、正確に線形変換動作由来の電気信号に特性変換することが可能な状態となる。

例えば、撮像時の温度の平均値が温度ｔ_２であった場合は、係数導出部１６で導出された対数出力信号の傾きｃ_１，ｃ_２及び対数出力信号の係数ｄ_１，ｄ_２を用いて、対数出力信号ｙ_２に下記の変動方程式（６）を用いた演算を行うことにより、変動補正後の対数出力信号ｙ_２´を求めるようになっている。

また、信号処理部１３は、撮像素子４の出力信号を線形変換動作由来の状態に統一する線形化部１８を備えている。線形化部１８は、図６に示すように、セレクタ１８ａ、基準変換テーブル１８ｂ及び出力部１８ｃを備えている。なお、図６では、ＡＤコンバータ１０や制御装置２９（図１参照）などの図示を省略している。

セレクタ１８ａは、撮像素子４が出力した電気信号と変曲出力信号値Ｈとの大小を判別して、撮像素子４が出力した電気信号が変曲出力信号値Ｈより大きい場合、つまり対数変換動作由来の電気信号が撮像素子４から出力される場合には、撮像素子４からの出力信号を基準変換テーブル１８ｂに出力し、変曲出力信号値Ｈ以下の場合には出力部１８ｃに出力するようになっている。

基準変換テーブル１８ｂは、図４に矢印Ｚで示すように、撮像素子４から出力される電気信号のうち、対数変換動作由来の電気信号を、入射光から線形変換された状態、つまり線形変換動作由来の状態に特性変換するものである。図４では、１２ビットの電気信号の対数出力信号を線形変換して、全体として２４ビットの電気信号を得る例を示している。

この基準変換テーブル１８ｂの変換特性は、撮像素子４の駆動条件が所定の基準条件である場合、本実施形態においては撮像素子４の温度が基準温度ｔ₁である場合に、撮像素子４から対数変換動作で出力される電気信号が正確に線形変換動作由来の状態となるように設定されている。

出力部１８ｃは、セレクタ１８ａ又は基準変換テーブル１８ｂから入力される電気信号を出力するものである。

このように信号処理部１３では、変動補正部１５で撮像素子４から出力された電気信号の変動補正を行った上で、線形化部１８で対数変換動作由来の電気信号を線形変換動作由来の状態に特性変換することにより、撮像素子４の入出力特性に対する温度変化の影響を低減し、電気信号を正確に線形変換動作又は対数変換動作由来の状態に統一することが可能となっている。

また、画素Ｇ₁₁〜Ｇ_mnからの出力信号が対数変換動作由来の電気信号である場合にのみ変動補正を行うので、出力信号が線形変換動作由来の電気信号である場合、つまり、対数変換動作に由来の電気信号を他方の変換動作に由来の状態に変換する必要のない場合には無駄に変動補正が行われないこととなり、その結果、信号処理が高速化される。

以上の信号処理部１３には、図１に示すように、変曲信号導出部２１、画像処理部２２、評価値算出部２８及び制御装置２９が接続されている。

変曲信号導出部２１は、温度に応じた変曲出力信号値Hを導出して、変動補正部１５の演算処理部１７及び線形化部１８のセレクタ１８ａに送信するようになっている。本実施形態においては、図６に示すように、温度検出器１２の検出結果に基づいて変曲出力信号値Hを演算する演算器２１aが備えられている。なお、変曲信号導出部２１は、平均値算出部１４により算出された平均温度に基づいて変曲出力信号値Ｈを演算することとしてもよい。また、温度検出器１２の検出結果の入力により変曲出力信号値Hを導出するルックアップテーブルを備えることとしてもよい。

画像処理部２２は、画素Ｇ₁₁〜Ｇ_mnからの電気信号全体によって構成される画像データに対して画像処理を行うものであり、ＡＷＢ処理部２３、色補間部２４、色補正部２５、階調変換部２６及び色空間変換部２７を備えている。これらＡＷＢ処理部２３、色補間部２４、色補正部２５、階調変換部２６及び色空間変換部２７は、信号処理部１３に対してこの順に接続されている。

ＡＷＢ処理部２３は画像データに対してホワイトバランス処理を行うものであり、色補間部２４は同色の前記フィルタが設けられた複数の近接画素からの電気信号に基づいて、これら近接画素間に位置する画素についてこの色の電気信号を補間演算するものである。色補正部２５は画像データの色合いを補正するものであり、より詳細には、各色の電気信号を他の色の電気信号に基づき画素Ｇ₁₁〜Ｇ_mnごとに補正するものである。階調変換部２６は画像データの階調変換を行うものであり、色空間変換部２７はＲＧＢ信号をＹＣｂＣｒ信号に変換するものである。

評価値算出部２８は、ＡＷＢ処理部２３でのホワイトバランス処理（ＡＷＢ処理）に用いられるＡＷＢ評価値や、露光制御処理部３０での露出制御処理（ＡＥ処理）に用いられるＡＥ評価値を算出するものである。

制御装置２９は、撮像装置１の各部を制御するものであって、図１に示すように、上述のアンプ９、黒基準設定部１１、信号処理部１３、ＡＷＢ処理部２３、色補間部２４、色補正部２５、階調変換部２６及び色空間変換部２７と接続されている。

また、制御装置２９は、露光制御処理部３０を介して絞り３と接続され、信号生成部３１を介して撮像素子４及びＡＤコンバータ１０と接続されている。

露光制御処理部３０は、レンズ系２より集光される光の量を調整する絞り３を駆動制御するようになっている。

信号生成部３１は、撮像素子４の撮影動作を制御するようになっている。すなわち、制御装置２９からの撮影制御信号に基づいて所定のタイミングパルス（画素駆動信号、水平同期信号、垂直同期信号、水平走査回路駆動信号、垂直走査回路駆動信号など）を生成して撮像素子４に出力するようになっている。また、信号生成部３１はＡＤ変換用のタイミング信号も生成するようになっている。

続いて、撮像装置１の撮像動作について説明する。

まず、撮像素子４が各画素Ｇ₁₁〜Ｇ_mnへの入射光を光電変換し、線形変換動作又は対数変換動作由来の電気信号をアナログ信号として出力する。具体的には、上述のように各画素Ｇ₁₁〜Ｇ_mnが信号読出ラインＬ_Dに電気信号を出力すると、この電気信号を定電流源Ｄが増幅し、選択回路Ｓが順にサンプルホールドする。そして、サンプルホールドされた電気信号が選択回路Ｓから補正回路８に送出されると、補正回路８がノイズを除去して電気信号を出力する。

次に、撮像素子４から出力されたアナログ信号をアンプ９が増幅し、ＡＤコンバータ１０がデジタル信号に変換する。次に、黒基準設定部１１がデジタル信号の最低レベルを設定した後、そのデジタル信号を信号処理部１３の変動補正部１５及び線形化部１８に送信する。

一方、温度検出器１２は、撮像素子４の各画素Ｇ_１１〜Ｇ_ｍｎの温度を検出し、変曲信号導出部２１に送信するとともに、信号処理部１３の平均値算出部１４に送信する。

続いて、変曲信号導出部２１が前記温度を受信すると、その温度に基づく演算により変曲出力信号値Ｈを導出して変動補正部１５の演算処理部１７及び線形化部１８のセレクタ１８ａに送信する。なお、変曲出力信号値Ｈはルックアップテーブルによって導出してもよい。このようにルックアップテーブルを用いる場合は、変曲出力信号値Ｈを正確に導出できると共に、導出処理が高速化される。

次に、信号処理部１３の平均値算出部１４が、温度補正すべき範囲内で温度検出器１２により算出された複数の温度データの平均値を算出する。図７及び図８に示すように、平均値算出部１４は、１画素につき１回のタイミングで温度Ｔをサンプリングし加算していく（ステップＳ１）。そして、水平ライン１つ分の画素Ｇ_１ｘ〜Ｇ_ｍｘ全てについて加算し（ステップＳ２；Ｙｅｓ）、１ライン分の総和ΣＴを１ライン分の画素数ｍで除算して、平均値を算出する（ステップＳ３）。算出した平均温度は、変動補正部１５の係数導出部１６に出力される。

次に、信号処理部１３の変動補正部１５が平均温度を受信すると、係数導出部１６は撮像素子４の入出力特性の変動を補正するための補正係数を導出する。すなわち、係数導出部１６の演算処理部１６ａは、平均値算出部１４で算出された平均温度に基づき、補正係数として、上記式（１）〜（３）の対数出力信号の傾きｃ_１〜ｃ_３及び対数出力信号の切片ｄ_１〜ｄ_３を演算により導出する。

例えば、撮像時の平均温度が温度ｔ_２（図５参照）であった場合は、演算処理部１６ａは、基準温度ｔ_１における対数出力信号の係数ｃ_１及びｄ_１のほか、温度ｔ_２における対数出力信号の係数ｃ_２及びｄ_２を演算により導出する。これらの補正係数は、上記式（４）又は（５）などを用いた演算により導出することが可能である。

続いて、演算処理部１７は、係数導出部１６で導出された補正係数に基づいて、画素Ｇ₁₁〜Ｇ_mnごとに電気信号の入出力特性の変動補正を行う。本実施形態では、変曲出力信号値Ｈより大きい電気信号、すなわち対数変換動作によって各画素Ｇ₁₁〜Ｇ_mnから出力される電気信号に、所定の変動方程式を用いた演算を行う。これにより、変動補正された対数変換動作由来の電気信号は、正確に線形変換動作由来の電気信号に特性変換することが可能な状態となる。

例えば、撮像時の平均温度が温度ｔ_２（図５参照）であった場合は、上記式（６）を用いた演算を行うことにより、変動補正後の対数出力信号ｙ_２´を求めることができる。

次に、信号処理部１３の線形化部１８は、撮像素子４からの出力信号を線形変換動作由来の状態に統一する。すなわち、まずセレクタ１８ａが撮像素子４により出力した電気信号と変曲出力信号値Ｈとの大小を判別して、撮像素子４が出力した電気信号が変曲出力信号値Ｈより大きい場合、つまり対数変換動作由来の電気信号が撮像素子４から出力される場合には、撮像素子４からの出力信号を基準変換テーブル１８ｂに出力し、変曲出力信号値Ｈ以下の場合には出力部１８ｃに出力する。

続いて、基準変換テーブル１８ｂは、図４に矢印Ｚで示すように、撮像素子４から出力される電気信号のうち、対数変換動作由来の電気信号を、入射光から線形変換された状態、つまり線形変換動作由来の状態に特性変換する。

そして、出力部１８ｃは、セレクタ１８ａ又は基準変換テーブル１８ｂから入力される電気信号を出力する。

このように、信号処理部１３の変動補正部１５が撮像素子４から出力された電気信号の変動補正を行った上で、線形化部１８が対数変換動作由来の電気信号を線形変換動作由来の状態に特性変換することにより、撮像素子４の入出力特性に対する温度変化の影響を低減し、電気信号を正確に線形変換動作又は対数変換動作由来の状態に統一することができる。

次に、信号処理部１３の線形化部１８から出力される電気信号に基づいて評価値算出部２８が前記ＡＷＢ評価値，ＡＥ評価値を算出する。

次に、算出されたＡＥ評価値に基づいて制御装置２９が露光制御処理部３０を制御し、撮像素子４に対する露光量を調節させる。

また、ＡＷＢ評価値や、黒基準設定部１１で設定された最低レベルなどに基づいて制御装置２９がＡＷＢ処理部２３を制御し、信号処理部１３から出力される画像データに対してホワイトバランス処理を行わせる。

そして、ＡＷＢ処理部２３から出力される画像データに基づいて色補間部２４、色補正部２５、階調変換部２６及び色空間変換部２７がそれぞれ画像処理を行った後、画像データを出力する。

以上のように本実施形態の撮像装置１によれば、撮像時の撮像素子４又はその近傍の温度変化に起因して撮像素子４の入出力特性が変動する場合、温度補正すべき範囲内で温度検出器１２が検出した複数の過去の温度データをもとに出力信号の変動補正を行うので、出力信号から温度に影響される成分を除去することができるとともに、温度検出器１２で検出した温度のノイズ成分を除去することができる。従って、撮像時の撮像素子４又はその近傍の温度変化、および、使用する温度検出器１２に関わらず、ノイズの少ない画像信号を得ることができる。

また、水平ライン単位で出力信号の変動補正を行うので、温度補正すべき範囲の大きさに関わらず、ノイズの少ない画像信号を得ることができる。

また、係数導出部１６は、平均温度が変化しない場合は同じ補正係数を用いるので、補正係数の導出回数の低減が可能であり、処理を簡略化することができる。処理を簡略化することにより、メモリへのアクセス数の減少等が可能であり、消費電力が減少する。

さらに、撮像素子４は、線形変換モードと対数変換モードを備え、入射光量に基づいて切り替えて変動補正を行うため、より正確な変動補正を行うことができる。

なお、本実施形態においては、１画素に１回温度をサンプリングし、１ラインごとに平均値算出を行ったが、１ラインに１回温度をサンプリングし、１フレーム毎に平均値算出を行うこととしても良い。このように、フレーム単位で出力信号の変動補正を行うこととした場合、フレーム内でノイズの少ない画像信号を得ることができる。

［第２の実施形態］
次に、本発明に係る第２の実施形態について説明する。なお、第１の実施形態と同様の構成要素には同一の符号を付し、その説明を省略する。本実施形態における撮像装置は、信号処理部３２が第１の実施形態と異なっており、その他の構成は同様である。

図９に示すように、本実施形態における信号処理部３２には、第１の実施形態と同様の平均値算出部１４が備えられている。平均値算出部１４には、平均値算出部１４で算出された平均温度を一定期間保持する温度記憶部３３が接続されている。温度記憶部３３には、温度記憶部３３から入力された記憶温度がノイズ成分を含むか否かを判別するノイズ判別部３４が接続されている。温度記憶部３３及びノイズ判別部３４には、ノイズ判別部３４においてノイズ成分を含むと判別された際にノイズ成分のない正しい温度を予測する温度予測部３５が接続されている。温度予測部３５には、第１の実施形態と同様の変動補正部１５及び線形化部１８が接続されている。

次に、本実施形態における撮像装置の撮像動作について説明する。
本実施形態における撮像装置の撮像動作は、補正係数を導出する際に用いる撮像素子４の温度として、ノイズ成分のない正しい温度を予測して用いる点が第１の実施形態と異なっている。以下、補正係数を導出する際に用いるノイズ成分のない正しい温度の予測について説明する。

まず、図１０に示すように、平均値算出部１４が温度検出器１２の検出温度に基づいて各ラインの平均温度Ｔｘを算出する(ステップＳ１０)。詳しくは、図１１に示すように、温度検出器１２が検出した撮像素子４の各画素Ｇ_１１〜Ｇ_ｍｎの温度に基づいて、平均値算出部１４は、１画素につき１回温度Ｔをサンプリングして加算していく（ステップＳ１１）。水平ライン１つ分の画素について加算が終了すると（ステップＳ１２；Ｙｅｓ）、１ライン分の総和ΣＴを１ラインの画素数ｍで除算し、平均温度Ｔｘを温度記憶部３３に格納する（ステップＳ１３）。このようにして、平均温度Ｔｘの算出を１画面分繰り返し（ステップＳ１４；Ｙｅｓ）、全て温度記憶部３３に格納する。

次に、ノイズ判別部３４が、求めた各ラインの平均温度Ｔｘがノイズ成分を含む可能性があるか否かを判別する（ステップＳ２０）。詳しくは、図１２に示すように、前ラインの平均温度Ｔ（ｘ−１）と現ラインの平均温度Ｔｘとを比較し、基準値β以上の差があるものはノイズ成分を含む可能性ありとし（ステップＳ２１；Ｎｏ）、ノイズ判別信号ＮｘをＯＮにするとともに（ステップＳ２２）、温度が増加しているか減少しているかを表す変動方向Ｃｘを設定する（ステップＳ２３）。温度記憶部３３は、このようにして全てのラインの平均温度Ｔｘに対してノイズ判別信号ＮｘをＯＮ又はＯＦＦに設定する（ステップＳ２４；Ｙｅｓ）。

次に、図１０に示すように、ノイズ判別信号ＮｘがＯＮとなったライン（第１候補ライン）から次にノイズ判別信号ＮｘがＯＮとなったライン（第２候補ライン）までの間に存在するライン数が、基準ライン数α以上か否かを判断する（ステップＳ３０）。第１候補ラインと第２候補ラインの間隔が大きく、基準ライン数α以上の場合（ステップＳ３０；Ｙｅｓ）、第１候補ライン及び第２候補ラインはノイズ成分を含まないと判断し、ＯＮとなっていたノイズ判別信号ＮｘをＯＦＦに再設定する（ステップＳ４０）。

一方、第１候補ラインと第２候補ラインの間隔が基準ラインαより少ない場合（ステップＳ３０；Ｎｏ）、第１候補ラインの変動方向Ｃｘ１と第２候補ラインの変動方向Ｃｘ２とが一致するか否かを判断する（ステップＳ５０）。一致しない場合（ステップＳ５０；Ｙｅｓ）、第１候補ラインと第２候補ラインの間に存在するラインはノイズ成分を含むと判断し、そのノイズ判別信号ＮｘをＯＮに再設定する（ステップＳ６０）。

続いて、第１候補ラインと第２候補ラインの変動方向が一致しない場合（ステップＳ５０；Ｎｏ）、さらに次にノイズ判別信号がＯＮとなったライン（第３候補ライン）までの間に存在するライン数が基準ライン数α以上か否かを判断する（ステップＳ７０）。第２候補ラインと第３候補ラインの間隔が大きく、基準ライン数α以上の場合（ステップＳ７０；Ｙｅｓ）、第１候補ラインから第３候補ラインの間に存在するラインは全てノイズ成分を含まないと判断し、そのノイズ判別信号ＮｘをＯＦＦに再設定する（ステップＳ８０）。

続いて、第２候補ラインと第３候補ラインとの間隔が基準ライン数αより少ない場合（ステップＳ７０；Ｎｏ）、第２候補ラインの変動方向Ｃｘ２と第３候補ラインの変動方向Ｃｘ３とが一致するか否かを判断する（ステップＳ９０）。一致しない場合（ステップＳ９０；Ｙｅｓ）、第１候補ラインから第３候補ラインの間に存在するラインはノイズ成分を含むものと判断し、そのノイズ判別信号ＮｘをＯＮに再設定する（ステップＳ１００）。第２候補ラインと第３候補ラインの変動方向が一致する場合（ステップＳ９０；Ｎｏ）、第１候補ラインから第３候補ラインの間に存在するラインはノイズ成分を含まないものを判断し、そのノイズ判別信号ＮｘをＯＦＦに再設定する（ステップＳ１１０）。

このようにして、ノイズ成分を含む可能性のある候補ラインの間隔と変動方向Ｃｘに基づいて、一画面分の候補ラインについてノイズ判別を行う（ステップＳ１２０）。各ラインのノイズ成分の判別が終了すると、ノイズ判別部３４はノイズ判別信号Ｎｘを温度予測部３５に出力する。同時に、温度記憶部３３は保持している各ラインの記憶温度を温度予測部３５に出力する。

温度予測部３５は、各ラインのノイズ判別信号ＮｘがＯＦＦでないと判断すると（ステップＳ１３０；Ｎｏ）、そのラインのノイズ成分を除去した温度を予測する。詳しくは、図１３に示すように、直前のノイズ判別信号ＮｘがＯＦＦとなった数ラインの記憶温度から１ライン分の変化量を求める（ステップＳ１３１）。そして、１ライン分の変化量を記憶温度に加算又は減算して予測温度を再設定する（ステップＳ１３２）。なお、上記１ライン分の変化量を求めずに、直前にノイズ判別信号ＮｘがＯＦＦのラインの記憶温度を、そのラインの予測温度として再設定することとしても良い。このように、ノイズ判別信号ＮｘがＯＮとなったライン全てについて予測温度を再設定して（ステップＳ１３３；Ｙｅｓ）終了する。

次に、温度予測部３５から予測温度が変動補正部１５の係数導出部１６に出力され、係数導出部１６は予測温度に基づいて補正係数を導出する。導出した補正係数は演算処理部１７に出力され、画素Ｇ_１１〜Ｇ_ｍｎごとに電気信号の入出力特性の変動補正が行われる。補正後の電気信号は、第１の実施形態と同様に、線形化部１８に出力されて、撮像素子４の出力信号が線形変換動作由来の状態に統一される。そして、画像処理部２２に出力されて画像データに対する画像処理が行われる。

以上より、本実施形態の撮像装置によれば、ノイズ判別部３４によりノイズ成分の有無が検出され、温度予測部３５がノイズ成分のない正しい温度を予測し、出力信号の変動補正を行うので、出力信号から温度に影響される成分を除去することができるとともに、温度検出器１２で検出した温度のノイズ成分を除去することができる。従って、ノイズ成分を除去した正確な温度データを予測し、撮像時の撮像素子４又はその近傍の温度変化、および、使用する温度検出器１２に関わらず、ノイズの少ない画像信号を得ることができる。

第１の実施形態に係る撮像装置の概略構成を示すブロック図である。第１の実施形態に係る撮像素子の構成を示すブロック図である。第１の実施形態に係る画素の構成を示す回路図である。第１の実施形態に係る撮像素子の出力信号を示すグラフである。第１の実施形態に係る撮像素子又はその近傍の各温度における出力信号を示すグラフである。第１の実施形態に係る信号処理部の構成を示すブロック図である。第１の実施形態に係る１水平ラインの平均温度の算出を示す説明図である。第１の実施形態に係る１水平ラインの平均温度の算出を示すフローチャートである。第２の実施形態に係る信号処理部の構成を示すブロック図である。第２の実施形態に係るノイズ判別を示すフローチャートである。第２の実施形態に係る１水平ラインの平均温度の算出を示すフローチャートである。第２の実施形態に係るノイズ判別信号及び変動方向の設定を示すフローチャートである。第２の実施形態に係る温度予測を示すフローチャートである。

符号の説明

１撮像装置
４撮像素子
１２温度検出器
１３，３２信号処理部
１４平均値算出部
１５変動補正部
１６係数導出部
１６ａ演算処理部
１７演算処理部
１８ａセレクタ
１８ｃ出力部
１８ｂ基準変換テーブル
１８線形化部
２１変曲信号導出部
２１a 演算器
２２画像処理部
２８評価値算出部
２９制御装置
３１信号生成部
３３温度記憶部
３４ノイズ判別部
３５温度予測部

Claims

入射光を電気信号に変換する感光素子を備えた複数の画素を有する撮像素子と、
前記撮像素子の温度を検出する温度検出器と、
前記撮像素子から出力される電気信号に対して信号処理を行う信号処理部とを備え、
前記信号処理部は、
前記温度検出器により検出した一定範囲における過去の複数の温度データをもとに、温度変化に起因して変動する前記撮像素子の出力電気信号の変動補正を行う変動補正部を備えることを特徴とする撮像装置。
前記信号処理部は、前記温度検出器で検出した一定範囲における過去の複数の温度データの平均値を算出する平均値算出部を備えることを特徴とする請求項１に記載の撮像装置。
前記信号処理部は、前記温度検出器で検出した一定範囲における過去の複数の温度データを保持する温度記憶部を備えることを特徴とする請求項１又は２に記載の撮像装置。
前記信号処理部は、前記温度検出器で検出した過去の温度データをもとに、それ以降の温度を予測して設定する温度予測部を備えることを特徴とする請求項１〜３のいずれか一項に記載の撮像装置。
前記信号処理部は、前記温度検出器によって検出した過去の温度データがノイズか否かを判別するノイズ判別部を備えており、
前記温度予測部は、前記ノイズ判別部でノイズと決定した温度に対して、過去の温度データをもとに、正しい温度を予測して設定することを特徴とする請求項４に記載の撮像装置。
前記信号処理部は、前記温度検出器で検出した複数の過去の温度データをもとに、フレーム単位で、前記変動補正部で使用する温度を設定することを特徴とする請求項１〜５のいずれか一項に記載の撮像装置。
前記信号処理部は、前記温度検出器で検出した一定範囲における過去の複数の温度データをもとに、水平ライン単位で、前記変動補正部で使用する温度を設定することを特徴とする請求項１〜５のいずれか一項に記載の撮像装置。
前記変動補正部は、温度に基づいて補正係数を導出する係数導出部と、前記補正係数に基づいて前記変動補正を行う演算処理部と、を備え、
前記係数導出部は、入力される現入力温度と前回に入力された入力温度とを比較し、これらが一致するときは、前回入力時に係数導出部で導出した補正係数を用いることを特徴とする請求項１〜７のいずれか一項に記載の撮像装置。
前記撮像素子は、入射光を電気信号に線形変換する線形変換モードと、対数変換する対数変換モードとを、入射光量に基づいて切り替える複数の画素を有することを特徴とする請求項１〜８のいずれか一項に記載の撮像装置。